🤫 🤜🏿 🦔 बवंडर के लिए बहुपरत आवेदन 🤾🏼 🖐🏽 🔻

गैर-अवरुद्ध वेब सर्वर के लिए प्रलेखन टोरनेडो अच्छी तरह से वर्णन करता है कि यह लोड के साथ कितनी अच्छी तरह से मुकाबला करता है, और सामान्य रूप से गैर-अवरुद्ध सर्वरों के क्षेत्र में मानवता की सबसे बड़ी उपलब्धि है। यह आंशिक रूप से सच है। लेकिन जब "एक और चैट" के ढांचे के बाहर जटिल अनुप्रयोगों का निर्माण होता है, तो कई अस्पष्ट और सूक्ष्म बिंदु सामने आते हैं, जिन्हें आपको रेक द्वारा यात्रा करने से पहले पता होना चाहिए। कटौती के तहत, ट्रेइलाज बौद्धिक खेल क्लब के डेवलपर्स नुकसान पर अपने विचार साझा करने के लिए तैयार हैं।

तुरंत एक आरक्षण करें कि हम दूसरी अजगर शाखा के बारे में बात कर रहे हैं, बवंडर 1.2.1 का नवीनतम संस्करण, और psgropg2 के माध्यम से जुड़ा हुआ पोस्टग्रैस्कल।

आवेदन का उदाहरण

कई प्रोग्रामर्स को त्वरित पहुँच के लिए सिंगलटन ~~विरोधी~~ पैटर्न का उपयोग करना पसंद है।
आवेदन वर्ग उदाहरण के लिए। यदि हम आगे क्षैतिज स्केलिंग के बारे में सोच रहे हैं,
यह बहुत हतोत्साहित किया गया है। अनुरोध ऑब्जेक्ट आपको थ्रेड सुरक्षित लाएगा
एक चांदी की थाली पर आवेदन, जो अपने पैर में शूटिंग के जोखिम के बिना इस्तेमाल किया जा सकता है
अप्रत्याशित जगह।

WebSockets

काश और आह। प्रिय nginx वेबसोकेट प्रोटोकॉल को प्रॉक्सी करने में सक्षम नहीं है। "लेट" के प्रशंसकों के लिए, इस संबंध में बहुत अच्छी खबर भी है। बहुत से लोग हा-प्रॉक्सी की प्रशंसा करते हैं, लेकिन हमारे मामले में ईमानदार नैग्नेक्स के साथ सभी स्टैटिक्स को दूसरे नोड में स्थानांतरित करना अधिक सुविधाजनक था, और स्वयं को सभी गतिशील सामग्री बवंडर-सर्वर को देना। छह महीने के जीवन के तहत, कभी-कभी तनावपूर्ण भार, ने दिखाया कि यह समाधान काफी व्यवहार्य है। यदि ws प्रोटोकॉल का अनुकरण करने के लिए एक फ्लैश स्ट्रिप का उपयोग किया जाता है, तो असुरक्षित संस्करण पर स्विच करने से बचने के लिए इसे उसी डोमेन से भेजा जाना चाहिए। बिछाने के साथ समाधान के लिए भी फ्लैश पॉलिसी xml की आवश्यकता होती है, जिसे पोर्ट 843 से उसी नगनेक्स में भेजा जा सकता है।

आधार से कनेक्शन

जाहिर है, भरी हुई सेवाओं पर, प्रत्येक छींक के लिए आधार से जुड़ने के बहुत महंगे संचालन की बात नहीं हो सकती है। Psycopg2 से सबसे सरल नियमित कनेक्शन पूल का उपयोग करना काफी संभव है। तुरंत थ्रेड-सुरक्षित थ्रेडकॉन्क्शनपूल ले लें, जहाँ से आवश्यक हो, कनेक्शन का चयन करें, और अनुरोध के अंत के बाद इसे वापस करने के लिए मत भूलना। "वापस जाने के लिए मत भूलना" से मतलब है कि कभी मत भूलना। हमारे भीतर जो भी अपवाद हुआ है। अजगर का उपयोग करके अंत में निर्माण करना उचित से अधिक है।

अतुल्यकालिक अनुरोध

सिंगल-थ्रेडेड नॉन-ब्लॉकिंग सर्वरों में, सब कुछ सुंदर दिखता है, ठीक तब तक जब तक आपको किसी प्रकार की अपेक्षाकृत लंबी क्रिया नहीं करनी होती। एक पत्र भेजें, डेटाबेस से चयन करें, एक बाहरी वेब सेवा के लिए एक अनुरोध भेजें, आदि इस मामले में, अन्य सभी जुड़े हुए ग्राहक हैंडलर की बारी का इंतजार करेंगे ताकि उन तक पहुंच सके।

यदि आपको अनुरोध हैंडलर में सभी की जरूरत है तो बस डेटाबेस को खींचें और कुछ प्रदर्शित करें, तो आप मोमोको अतुल्यकालिक आवरण का उपयोग कर सकते हैं। तब सबसे सरल क्वेरी कुछ इस तरह दिखाई देगी:

 class MainHandler(BaseHandler): @tornado.web.asynchronous def get(self): self.db.execute('SELECT 4, 8, 15, 16, 23, 42;', callback=self._on_response) def _on_response(self, cursor): self.write('Query results: %s' % cursor.fetchall()) self.finish()

सुरक्षित मल्टीथ्रेडिंग

तो, आधार के लिए और बाहरी वेब सेवाओं के लिए अतुल्यकालिक उपकरण हैं। लेकिन क्या होगा यदि आपको कई एसक्यूएल प्रश्नों से एक बड़ा काम करने की आवश्यकता है, सर्वर के आंत्र में कुछ बोझिल और फिर भी डिस्क i / o सबसिस्टम लोड करें? बेशक, हम सबसे खराब परंपराओं में अतुल्यकालिक कॉलबैक फ़ंक्शंस के समूहों को जोड़ सकते हैं, लेकिन यह वही है जिससे हम दूर होना चाहते हैं।

यहाँ, यह प्रतीत होता है, मानक थ्रेडिंग का उपयोग खुद को बताता है। लेकिन नियमित रूप से अजगर धागे का उपयोग करने से लोड के तहत उत्पादन पर सिर्फ राक्षसी चमक और विनाशकारी परिणाम होंगे। हाँ, हाँ। डेवलपर्स की मशीनों पर सब कुछ ठीक चलेगा। आमतौर पर ऐसे मामलों में, प्रोग्रामर जीआईएल पर प्रार्थना करना शुरू कर देते हैं, और भयावह रूप से वह सब कुछ बंद कर देते हैं जो संभव है और यह असंभव है। लेकिन समस्या यह है कि बवंडर के सभी धागे सुरक्षित नहीं हैं। इसे प्राप्त करने के लिए, आपको कई चरणों में http अनुरोध को संसाधित करने की आवश्यकता है।

बवंडर / .web.asynchronous के साथ अपने प्राप्त / पोस्ट फ़ंक्शन को डिकोड करें
अनुरोध स्वीकार करें, इनपुट मापदंडों की जांच करें, यदि कोई हो, और उन्हें अनुरोध उदाहरण में सहेजें
अनुरोध वर्ग के सदस्य फ़ंक्शन से थ्रेड चलाएँ
साझा किए गए डेटा परिवर्तन के समय सावधानीपूर्वक ताले लगाकर इस फ़ंक्शन के अंदर सभी काम करें
कॉलबैक पर कॉल करें, जो पहले से तैयार किए गए डेटा के साथ प्रक्रिया को अंतिम _finish () बना देगा।

इन उद्देश्यों के लिए, आप एक छोटा मिक्सिन लिख सकते हैं:

 class ThreadableMixin: def start_worker(self): threading.Thread(target=self.worker).start() def worker(self): try: self._worker() except tornado.web.HTTPError, e: self.set_status(e.status_code) except: logging.error("_worker problem", exc_info=True) self.set_status(500) tornado.ioloop.IOLoop.instance().add_callback(self.async_callback(self.results)) def results(self): if self.get_status()!=200: self.send_error(self.get_status()) return if hasattr(self, 'res'): self.finish(self.res) return if hasattr(self, 'redir'): self.redirect(self.redir) return self.send_error(500)

और इस मामले में, सुरक्षित बहु-थ्रेडेड अनुरोध प्रसंस्करण सरल और सुरुचिपूर्ण दिखाई देगा:

 class Handler(tornado.web.RequestHandler, ThreadableMixin): def _worker(self): self.res = self.render_string("template.html", title = _("Title"), data = self.application.db.query("select ... where object_id=%s", self.object_id) ) @tornado.web.asynchronous def get(self, object_id): self.object_id = object_id self.start_worker()

यदि हमें एक अनुप्रेषित की आवश्यकता है, तो _worker () में हम वांछित url के लिए वैरिएबल self.redir सेट करें। यदि आपको एक अजाक्स अनुरोध के लिए json की आवश्यकता है, तो self.res में, जनरेट किए गए पृष्ठ के बजाय, हम डेटा के साथ जेनरेट किए गए को असाइन करते हैं।

एक अन्य बिंदु अजगर के लिए सी-एक्सटेंशन से संबंधित है। यदि आप कॉल फ़्लो में किसी बाहरी लाइब्रेरी का उपयोग करते हैं, तो उनकी थ्रेड-सुरक्षित स्थिति की जाँच करना सुनिश्चित करें।

बैच प्रक्रियाओं

अक्सर एक सख्ती से परिभाषित समय के बाद एक फ़ंक्शन को चलाने के लिए आवश्यक है। ये उपयोगकर्ता टाइमआउट, और गेम प्रक्रियाओं का कार्यान्वयन, और सिस्टम रखरखाव प्रक्रियाएं, और बहुत कुछ हैं। इन उद्देश्यों के लिए, तथाकथित "आवधिक प्रक्रियाओं" का उपयोग किया जाता है।

परंपरागत रूप से, बैच प्रक्रियाओं को व्यवस्थित करने के लिए, पायथन मानक थ्रेडिंग का उपयोग करता है। यदि हम इसका उपयोग करने की कोशिश करते हैं, तो फिर से हमें एक निश्चित मात्रा में मायावी समस्याएं मिलती हैं। इन उद्देश्यों के लिए, बवंडर ioloop.PeriodicCallback प्रदान करता है। कृपया इसे नियमित टाइमर के बजाय हमेशा उपयोग करें। यह उपरोक्त कारणों के लिए बहुत समय और तंत्रिकाओं को बचाएगा।

स्थानीयकरण और अधिक

अंत में, मैं आपको कुछ युक्तियां देता हूं जो बहु-थ्रेडेड प्रसंस्करण से संबंधित नहीं हैं, लेकिन कभी-कभी आपको शाखा के आवेदन के प्रदर्शन को बढ़ाने की अनुमति देता है।

स्थानीयकरण के लिए निर्मित बवंडर स्टब का उपयोग न करें। टॉर्नेडो पूरी तरह से जानता है कि मानक गेटटेक्स्ट को कैसे बांधना है और यह अनुवाद के बड़े संस्करणों पर बहुत बेहतर परिणाम देता है।
संभव है कि सभी स्मृति में कैश। भूल जाओ और सह। आपको इसकी आवश्यकता नहीं है। पहले से ही डिज़ाइन प्रक्रिया में, आपको पता होना चाहिए कि आपका एप्लिकेशन किस हार्डवेयर प्लेटफ़ॉर्म पर चलेगा। सर्वर में मेमोरी के गीगाबाइट के अतिरिक्त जोड़े मूल रूप से एक विशेष कैशिंग रणनीति के दृष्टिकोण को बदल सकते हैं।
यदि पेज पीढ़ी का समय पूरी तरह से सिस्टम के डेटा पर निर्भर करता है और आप इसकी सीमा पहले से नहीं जान सकते हैं, तो इस अनुरोध के लिए हमेशा एक नया थ्रेड स्थगित करें
इस तथ्य के बावजूद कि बवंडर बहुत तेज है, हमेशा इसके लिए इच्छित साधनों को स्थिर करें। उदाहरण के लिए nginx। आप बस अंदाजा नहीं लगा सकते हैं कि FreeBSD / amd64 और nginx के साथ i7 / 16Gb / SAS सर्वर क्या स्टेटिक्स सौंपने में सक्षम है। सिर्फ शारीरिक रूप से कुछ भी तेज नहीं हो सकता।

परिणाम

तनाव परीक्षण के दौरान, 5000 एक साथ कनेक्शन जो साइट पर सक्रिय रूप से खेल रहे हैं (जिसका अर्थ है प्रति सेकंड हजारों वेबसोकेट संदेश) सर्वर समस्याओं के बिना खींचता है (एलए ~ = 0.2, सर्वर प्रक्रिया 8 जीबी मुक्त के साथ लगभग 400 एमबीबी मेमोरी खाती है)। 150 असली खिलाड़ी ऑनलाइन, मजेदार लेखन गोलियां, सर्वर बिल्कुल भी ध्यान नहीं देता है (शून्य लोड और बिजली की भारी आपूर्ति)।

मोर्चे पर, यह कुछ इस तरह दिखता है:

और बल आपके साथ हो सकता है!

बवंडर के लिए बहुपरत आवेदन