👶 🎄 👓 Tastypie एपीआई प्रदर्शन कुश्ती 🐜 😦 💾

मैंने टोस्टिपी पैकेज को पोनी ओआरएम पर कैसे घसीटा और इसका क्या हुआ।

यह लेख अजगर और django में आवेदन प्रदर्शन के लिए मेरे संघर्ष की कहानी को जारी रखता है।

पिछली श्रृंखला का सारांश:
- ओआरएम धीमा हो जाता है , और बहुत अधिक - 3-5 गुना या अधिक
- और यहाँ Django ORM के लिए एक डमी है
- वाह, यह ओआरएम शायद ही धीमा हो और संभव है कि सब कुछ कैश।
- यह है कि आप Django प्रोजेक्ट के लिए उच्च-प्रदर्शन Pony ORM को कैसे तेज कर सकते हैं और इसे प्रमुख स्थानों पर उपयोग कर सकते हैं

परिचय

पोनी ओआरएम का उपयोग कर डीबीएमएस तक पहुंचने की गति पर काफी संतोषजनक (Django ORM की तुलना में) परिणाम प्राप्त करने के बाद, मैं यह सोचने लगा कि व्यवहार में उनका उपयोग कैसे किया जाए। आरंभ करने के लिए, मैंने Django डेटा मॉडल को Pony डेटा मॉडल पर मैप किया । अब, प्रोजेक्ट में तैयार डेटा मॉडल का उपयोग किया जा सकता है।

जहां कोड को खरोंच से लिखा गया है, Django के बजाय टट्टू मॉडल का उपयोग करना आसान नहीं है, लेकिन बहुत सरल है: सभी Django मॉडल पर `p` विशेषता अब Pony मॉडल को इंगित करती है। हालांकि - उन तैयार किए गए पैकेजों के साथ क्या करना है जो पहले से ही Django ORM का उपयोग करते हैं?

दुर्भाग्य से, केवल एक ही उत्तर है: फिर से लिखना या फिर से लिखना, चूंकि पोनी ओआरएम में मॉडल और संग्रह तक पहुंचने के सिंटैक्स और शब्दार्थ मौलिक रूप से Django ORM से अलग हैं - इतना है कि यह अभी तक पोनी ओआरएम की अपील को मास्क करने के लिए संभव नहीं है जितना कि Django ORM तक पहुंचना। इसके अलावा, मुझे दृढ़ता से संदेह है कि इस तरह के एक भेस, जब किया जाता है, तो मध्यवर्ती परत पर नुकसान के कारण पोनी ओआरएम का उपयोग करने के सभी फायदे मारे जाएंगे। फिर भी, अजगर एक दुभाषिया है, और नुकसान, उदाहरण के लिए, एक फ़ंक्शन कॉल पर DBMS तक पहुंच की पृष्ठभूमि के खिलाफ भी ध्यान देने योग्य है। यह दूसरों के बीच ऐसा नुकसान है, जो शायद Django ORM और SQLAlchemy के प्रदर्शन को मारता है।

हम HTTP एप्लिकेशन के माध्यम से सर्वर प्रदाता के रूप में सर्वर का उपयोग करते हुए, अपने एप्लिकेशन के संपूर्ण इंटरफ़ेस (या इसके अधिकांश) को क्लाइंट पक्ष में स्थानांतरित करने की योजना बनाते हैं। इस प्रकार, प्रमुख तत्व एपीआई है जिसे हम टैस्टिपी पैकेज का उपयोग करके कार्यान्वित करते हैं, इसलिए इसके प्रदर्शन को बढ़ाने से सीधे आवेदन इंटरफ़ेस के प्रदर्शन को प्रभावित करना चाहिए और साइट पर समग्र भार को कम करना चाहिए।

और मैंने तस्सपेई को लिया ।

कैसे Tastypie संरचना ने मेरी मदद की

Tastypie पुस्तकालय, हालांकि यह Django पर निर्भर करता है, डेटा स्रोत अमूर्त (संसाधन) की एक परत है, जो Django ORM से स्वतंत्र है। केवल अगले वंशज, ModelResource, Django ORM- विशिष्ट डेटा एक्सेस का उपयोग करता है। इस प्रकार, जैसा कि मैंने शुरुआत में ही मान लिया था, मुझे केवल संसाधन से विरासत में लेने और ModelResource के समान कार्यक्षमता को लागू करने की आवश्यकता थी।

व्यवहार में, मुझे ToManyField के समानांतर एक कक्षा भी बनानी पड़ी, क्योंकि मेरी निराशा के कारण, उत्तरार्द्ध विशेष रूप से Django ORM के लिए उन्मुख कुछ लाइनें निकलीं। मैंने अपनी कक्षा को सेटफिल्ड कहा, क्योंकि यह सेट क्लास है जो एक-से-कई संबंधों को निरूपित करने के लिए पोनी ओआरएम में उपयोग की जाती है।

क्या हुआ?

सब कुछ ठीक निकला। नमूने के रूप में, मैंने django.contrib.auth से डेटा मॉडल का उपयोग किया, इसे लगभग 1000 उपयोगकर्ताओं के साथ भर दिया। मैंने सिस्टम में विभिन्न प्रकार के डेटा के 159 अधिकार उपयोगकर्ताओं में से एक को दिए हैं (हमने उनमें से बहुत - डेटा प्रकारों को संचित किया है) और इस कॉल को एक नमूने के रूप में उपयोग करते हुए, एपीआई के माध्यम से अपने अधिकारों के साथ इस उपयोगकर्ता का अनुरोध किया।

यहाँ पुराने API v2 के लिए डेटा स्रोत की परिभाषा जो Django ORM का उपयोग करती है, वह देखा गया (ध्यान दें कि प्रमाणीकरण और प्राधिकरण को बाहर रखा गया है - प्रदर्शन को सही ढंग से मापने के लिए)।

class PermissionResource(ModelResource): class Meta: queryset = auth_models.Permission.objects.all() object_model = queryset.model filtering = dict([(n,ALL_WITH_RELATIONS) for n in object_model._meta.get_all_field_names()]) resource_name = 'auth/permission' class UserResource(ModelResource): user_permissions = ToManyField(PermissionResource,'user_permissions',related_name='user_set',null=True) class Meta: queryset = auth_models.User.objects.all() object_model = queryset.model filtering = dict([(n,ALL_WITH_RELATIONS) for n in object_model._meta.get_all_field_names()]) resource_name = 'auth/user'

खैर, यहाँ नई v3 एपीआई की परिभाषा है, जो पोनी ओआरएम को जिओनी पैकेज के साथ संयोजन में उपयोग करने के लिए उन्मुख है:

 class PermissionResource(DjonyResource): class Meta: object_model = auth_models.Permission filtering = dict([(n,ALL_WITH_RELATIONS) for n in object_model._meta.get_all_field_names()]) resource_name = 'auth/permission' class UserResource(DjonyResource): user_permissions = SetField(PermissionResource,'user_permissions',related_name='user_set',null=True) class Meta: object_model = auth_models.User filtering = dict([(n,ALL_WITH_RELATIONS) for n in object_model._meta.get_all_field_names()]) resource_name = 'auth/user'

ध्यान दें कि मेटाडेटा परिभाषा Django मॉडल का उपयोग करती है न कि पोनी मॉडल। यह इस तथ्य के कारण है कि पोनी मॉडल में Django ORM के लिए विशिष्ट कई विशेषताएं नहीं हैं, लेकिन डेटा संरचना को स्वयं परिभाषित करने की आवश्यकता नहीं है, जैसे कि help_text। ऐसे मेटाडेटा को पोस्ट करने का मुद्दा वास्तव में महत्वपूर्ण है, लेकिन इसकी चर्चा इस लेख के दायरे से बाहर है।

सर्वर को मेरे मामूली काम के कंप्यूटर पर तैनात किया गया था, जिसमें 2.2 गीगाहर्ट्ज़ पर 2 कोर और 3 जीबी रैम था। परीक्षण क्लाइंट को उसी कंप्यूटर से लॉन्च किया गया था। अंतिम उपाय के रूप में, एब पैकेज (अपाचे बेंचमार्क) लॉन्च किया गया था:

 seva@SEVA (2):~/djony$ ab -n 100 -c 4 "http://localhost:8080/api/v2/auth/user/3/?format=json" This is ApacheBench, Version 2.3 <$Revision: 655654 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ Benchmarking localhost (be patient).....done Server Software: nginx/1.1.19 Server Hostname: localhost Server Port: 8080 Document Path: /api/v2/auth/user/3/?format=json Document Length: 5467 bytes Concurrency Level: 4 Time taken for tests: 17.331 seconds Complete requests: 100 Failed requests: 0 Write errors: 0 Total transferred: 582900 bytes HTML transferred: 546700 bytes Requests per second: 5.77 [#/sec] (mean) Time per request: 693.256 [ms] (mean) Time per request: 173.314 [ms] (mean, across all concurrent requests) Transfer rate: 32.84 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 0 0 1.5 0 9 Processing: 313 685 486.1 575 3357 Waiting: 312 684 485.8 574 3355 Total: 313 685 486.7 575 3357 Percentage of the requests served within a certain time (ms) 50% 575 66% 618 75% 647 80% 670 90% 819 95% 1320 98% 2797 99% 3357 100% 3357 (longest request) seva@SEVA (2):~/djony$ ab -n 100 -c 4 "http://localhost:8080/api/v3/auth/user/3/?format=json" This is ApacheBench, Version 2.3 <$Revision: 655654 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ Benchmarking localhost (be patient).....done Server Software: nginx/1.1.19 Server Hostname: localhost Server Port: 8080 Document Path: /api/v3/auth/user/3/?format=json Document Length: 5467 bytes Concurrency Level: 4 Time taken for tests: 8.339 seconds Complete requests: 100 Failed requests: 0 Write errors: 0 Total transferred: 582900 bytes HTML transferred: 546700 bytes Requests per second: 11.99 [#/sec] (mean) Time per request: 333.557 [ms] (mean) Time per request: 83.389 [ms] (mean, across all concurrent requests) Transfer rate: 68.26 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 0 0 0.0 0 0 Processing: 137 317 375.9 243 2753 Waiting: 137 316 375.7 243 2751 Total: 137 317 375.9 243 2753 Percentage of the requests served within a certain time (ms) 50% 243 66% 264 75% 282 80% 299 90% 351 95% 433 98% 2670 99% 2753 100% 2753 (longest request)

जैसा कि आप देख सकते हैं, यहां पोनी ओआरएम के उपयोग ने एपीआई प्रदर्शन में 2 गुना की वृद्धि दी।

दूसरे उदाहरण में, मैं तालिका से सभी वस्तुओं को क्वेरी करता हूं। यहाँ प्रदर्शन वृद्धि और भी अधिक महत्वपूर्ण है:

 seva@SEVA (2):~/djony$ ab -n 20 -c 4 "http://localhost:8080/api/v2/auth/user/?format=json&limit=0" This is ApacheBench, Version 2.3 <$Revision: 655654 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ Benchmarking localhost (be patient).....done Server Software: nginx/1.1.19 Server Hostname: localhost Server Port: 8080 Document Path: /api/v2/auth/user/?format=json&limit=0 Document Length: 306326 bytes Concurrency Level: 4 Time taken for tests: 40.891 seconds Complete requests: 20 Failed requests: 0 Write errors: 0 Total transferred: 6133760 bytes HTML transferred: 6126520 bytes Requests per second: 0.49 [#/sec] (mean) Time per request: 8178.157 [ms] (mean) Time per request: 2044.539 [ms] (mean, across all concurrent requests) Transfer rate: 146.49 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 0 0 0.1 0 0 Processing: 6235 7976 1035.4 7980 10671 Waiting: 6225 7959 1033.0 7958 10654 Total: 6235 7976 1035.4 7980 10671 Percentage of the requests served within a certain time (ms) 50% 7980 66% 8177 75% 8287 80% 8390 90% 10001 95% 10671 98% 10671 99% 10671 100% 10671 (longest request) seva@SEVA (2):~/djony$ ab -n 20 -c 4 "http://localhost:8080/api/v3/auth/user/?format=json&limit=0" This is ApacheBench, Version 2.3 <$Revision: 655654 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ Benchmarking localhost (be patient).....done Server Software: nginx/1.1.19 Server Hostname: localhost Server Port: 8080 Document Path: /api/v3/auth/user/?format=json&limit=0 Document Length: 306326 bytes Concurrency Level: 4 Time taken for tests: 11.841 seconds Complete requests: 20 Failed requests: 0 Write errors: 0 Total transferred: 6133760 bytes HTML transferred: 6126520 bytes Requests per second: 1.69 [#/sec] (mean) Time per request: 2368.136 [ms] (mean) Time per request: 592.034 [ms] (mean, across all concurrent requests) Transfer rate: 505.88 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 0 0 0.1 0 0 Processing: 1024 2269 806.2 2227 4492 Waiting: 1017 2252 803.6 2211 4472 Total: 1024 2269 806.2 2227 4492 Percentage of the requests served within a certain time (ms) 50% 2227 66% 2336 75% 2395 80% 2406 90% 4140 95% 4492 98% 4492 99% 4492 100% 4492 (longest request)

एपीआई प्रदर्शन में 4 गुना से अधिक की वृद्धि हुई है!

जो होना बाकी है

हालांकि प्राधिकरण और प्रमाणीकरण को लागू नहीं किया गया है, हालांकि, मुझे उनके कार्यान्वयन में कोई विशेष समस्या नहीं दिखती है।

रेगेक्स, सप्ताह_दिन और खोज जैसे मानदंडों के अनुसार फ़िल्टर के कार्यान्वयन में समस्या है, क्योंकि पोनी ओआरएम में अभी तक समान मानदंड नहीं हैं।

निष्कर्ष

Django ORM के लिए Django तैयार-किए गए एप्लिकेशन पैकेजों में प्रतिस्थापन के रूप में पोनी ओआरएम को लागू करना उत्पादकता बढ़ाने के मामले में काफी संभव और बहुत उपयोगी है। पैकेज के अंदर कक्षाओं का अच्छा अमूर्त बहुत मदद करता है, विशेष रूप से, Django ORM से स्वतंत्र एक परत की उपस्थिति।

मैं उन सभी को आमंत्रित करता हूं जो खुले डीजेनी परियोजनाओं (क्रॉसिंग पोनी और Django को पार करने) और tastypie_djony (Pony ORM का उपयोग करके Tastypie का उपयोग करके) को जल्दी से एक स्थायी औद्योगिक डिजाइन में शामिल होने के लिए अपने Django अनुप्रयोगों के प्रदर्शन में सुधार करने में रुचि रखते हैं।

पोनी ओआरएम परियोजना एक खुला स्रोत परियोजना है।

परंपरागत रूप से, मैं आपको याद दिलाता हूं कि पोनी ओआरएम के डेवलपर्स अभी भी हैबरहैब के उपयोगकर्ता हैं:

एलेक्सीमलैशकेविच m.alexey@gmail.com

metaprogrammer alexander.kozlovsky@gmail.com

Tastypie एपीआई प्रदर्शन कुश्ती

परिचय

कैसे Tastypie संरचना ने मेरी मदद की

क्या हुआ?

जो होना बाकी है

निष्कर्ष

More articles: