अपकेंद्रित्र - वास्तविक समय संदेश दलाल

हेलो, हेब्र!

लेख में मैं अपने छोटे से ओपन-सोर्स प्रोजेक्ट का वर्णन करूंगा - सेंट्रीफ्यूज (इसके बाद सेंट्रीफ्यूज)। यह एक पायथन सर्वर है, जिसका कार्य कनेक्टेड (मुख्य रूप से ब्राउज़र से) क्लाइंट को वास्तविक समय में संदेश भेजना (प्रसारित करना) है।

यह व्यक्तिगत भावनाओं और उपयोग की जाने वाली तकनीकों के वर्णन से भरी कहानी होगी, लेकिन कोड उदाहरण के बिना। यदि विषय आपके करीब है - पास न करें, तो यह उत्सुक होगा।

आरंभ करने के लिए, कृपया स्क्रीनकास्ट को देखें (उपशीर्षक को सक्षम करने के लिए मत भूलना), अगर देखने के बाद ब्याज गायब नहीं होता है, तो पढ़ने के लिए स्वतंत्र महसूस करें!




एक वास्तविक समय संदेश सर्वर का विचार बिल्कुल नया नहीं है, मौजूदा समान परियोजनाओं में मैं एक उदाहरण के रूप में पुशर और पबनब का हवाला दे सकता हूं। यहाँ पुशर वेबसाइट से एक उद्धरण है:

जल्दी और आसानी से सुरक्षित रूप से वेब और मोबाइल एप्लिकेशन के लिए स्केलेबल रियलटाइम कार्यक्षमता जोड़ने के लिए पुशर एक होस्ट किया गया एपीआई है।

इसके मुखपृष्ठ पर Pubnub हमें कुछ इसी तरह बताता है:

हजारों मोबाइल, वेब और डेस्कटॉप ऐप दुनिया भर में करोड़ों उपयोगकर्ताओं के लिए अत्यधिक स्केलेबल रियल-टाइम अनुभव देने के लिए PubNub रियल-टाइम नेटवर्क पर भरोसा करते हैं।

सेंट्रीफ्यूज के लक्ष्य इतने वैश्विक होने से बहुत दूर हैं। यह वास्तविक समय के एप्लिकेशन बनाने के लिए दुनिया भर में वितरित एक तैयार बुनियादी ढांचा नहीं है, यह सिर्फ एक सर्वर है जिसे आप अपनी मशीन पर इंस्टॉल करते हैं और एक संदेश दलाल के रूप में उपयोग करते हैं।

मुझे इसमें कोई संदेह नहीं है कि ऐसे कई सर्वर हैं। कुछ समय पहले मुझे खुद एक बहुत ही समान चीज़ लिखने का मौका मिला था - चक्रवात- sse । यह एक ट्विस्टेड डेमॉन है जो आपको सर्वर-सेंटेड इवेंट्स (SSE) तकनीक (या IE 7 जैसे पुराने लोगों के लिए लंबे समय के मतदान के लिए वापसी) का उपयोग करके वास्तविक समय में चैनलों पर संदेश भेजने की अनुमति देता है। यह कोड का एक सुंदर सभ्य टुकड़ा निकला, जिसे हम युद्ध में सफलतापूर्वक उपयोग करते हैं।

हालाँकि, डेमन कुछ महत्वपूर्ण समस्याओं का समाधान नहीं करता है:

1) किसी भी प्राधिकरण की कमी। हमारे मामले में, सभी परियोजनाएं कंपनी के फ़ायरवॉल द्वारा बाहरी रूप से बंद कर दी जाती हैं और हम केवल सार्वजनिक डेटा के लिए चक्रवात का उपयोग करते हैं। लेकिन वास्तविक समय की घटनाओं को एक परियोजना में जोड़ने के लिए जो सभी इंटरनेट उपयोगकर्ताओं के लिए सुलभ है, एक प्राधिकरण तंत्र की आवश्यकता है।

2) वेबसोकेट का उपयोग नहीं करता है। प्रोटोकॉल, जो दो तरफा डेटा विनिमय की संभावना भी प्रदान करता है (जबकि एसएसई एक यूनिडायरेक्शनल प्रोटोकॉल है, संदेश केवल सर्वर से क्लाइंट तक संभव हैं)। इसके अलावा, वेबसोकेट क्रॉस-डोमेन संचार का समर्थन करते हैं, जो सर्वर-सेंटेड इवेंट्स के लिए हमेशा सही नहीं होता है।

एक बार, एक काम के सहयोगी ने शिकायत की कि उसके पास जावा के लिए पैकेज अपडेट की निगरानी करने की क्षमता की कमी थी। मुझे लगा कि यह एक छोटे से प्रोजेक्ट के लिए एक अच्छा विचार है - नए पैकेजों को ट्रैक करने के लिए, शायद न केवल जावा के लिए, बल्कि अन्य प्रोग्रामिंग भाषाओं के लिए, वास्तविक समय में वेब इंटरफेस में अपडेट दिखाने के लिए - और मैंने शुरू किया।

जितना मैंने लिखा था, कोड मूल विचार से दूर चला गया। पैकेज अपडेट एग्रीगेटर से, एक प्रोजेक्ट सब कुछ के एग्रीगेटर में बदल गया है।

यह बहुत अच्छा लगता है, लेकिन थोड़ी देर बाद मुझे एहसास हुआ कि इस तरह के कार्य को पूरा करने के लिए, मेरे पास कुछ अधिक की आवश्यकता है ... और यह सब कुछ सरल बनाने का निर्णय लिया गया था - उस समय कनेक्टेड क्लाइंट को संदेश भेजने का कंकाल पहले ही लिखा गया था, इस दिशा को क्यों नहीं विकसित किया? मैंने महसूस किया कि मैं साइक्लोन-एससी के लिए उद्देश्य और दायरे के समान कोड लिख सकता हूं, लेकिन बड़े पैमाने पर उपयोग के लिए अनुकूलित।

तो, आप एक अजगर प्रोग्रामर हैं और आपको इस तरह के सर्वर को लिखने की आवश्यकता है - आप क्या उपयोग करेंगे? ट्विस्टेड , गवेंट और टोर्नाडो से चुनें। और जब गुइडो वान रोसुम ट्यूलिप पुस्तकालय में कार्यक्रमों के इवेंट-लूप इंटरफ़ेस को मानकीकृत करता है, तो हमें चुनने की आवश्यकता है।

मैंने एक बवंडर चुना। वह तीसरे अजगर पर काम करता है, वह बिल्कुल शांत है। कई मायनों में, यह पसंद और अंतिम कोड के लिए पाइथन 3.3 में काम करने की इच्छा ने अन्य संबंधित तकनीकों - ZeroMQ ( pyzmq ), SockJS ( sockjs-tornado ), MongoDB ( मोटर ) और PostgreSQL ( मोमोको ) को चुना। सभी पुस्तकालयों अतुल्यकालिक हैं, सॉकेट्स के साथ बातचीत करते समय ताले को छोड़कर।

मैं अभी जीरोएमक्यू में नहीं आया था।

जब बैलेन्सर के पीछे कई आवेदन प्रक्रियाएं होती हैं, और क्लाइंट सैद्धांतिक रूप से उनमें से किसी से जुड़ सकते हैं, तो यह आवश्यक है कि किसी भी तरह के सिस्टम की आंतरिक स्थिति की अखंडता को बनाए रखें और एप्लिकेशन इंस्टेंस के बीच संवाद करने में सक्षम हों। प्रारंभ में, इस उद्देश्य के लिए मैंने पब / सब रेडिस इंजन का उपयोग किया। लेकिन मैं टॉरनेडो-रेडिस लाइब्रेरी के कार्यान्वयन में एक बग भर में आया और अन्य समाधानों की दिशा में देखा।

नतीजतन, चुनाव ZeroMQ पर गिर गया - स्टेरॉयड पर कुर्सियां, नेटवर्क इंटरैक्शन की एक विस्तृत विविधता के आयोजन के लिए पैटर्न का एक सेट। एक अलग दलाल की कमी सिर्फ महान है। यदि आपने इस पुस्तकालय के बारे में नहीं सुना है, या सुना है, लेकिन विवरण में नहीं गए हैं - अभी! उन्हें गाइड पढ़ें, यह इसके लायक है। यह इस पुस्तकालय का उपयोग करने वाली मेरी पहली परियोजना है, मुझे उम्मीद है कि अनुभवी समुदाय के सदस्य कोड को देखेंगे और संभावित कमियों को इंगित करेंगे।

प्रत्येक सेंट्रीफ्यूज प्रक्रिया एक PUB सॉकेट बनाता है जो एक विशिष्ट पते / पोर्ट से जुड़ा होता है। प्रक्रिया में एक SUB सॉकेट भी होता है, जो वर्तमान प्रक्रिया के PUB सॉकेट और अन्य उदाहरणों के PUB सॉकेट (यदि कोई हो) से जुड़ता है। इस योजना का नुकसान प्रक्रिया शुरू करते समय पब सॉकेट के सभी पते को मैन्युअल रूप से निर्दिष्ट करने की आवश्यकता है। इसलिए, XPUB / XSUB प्रॉक्सी को एक अलग प्रक्रिया में शुरू करना और इस प्रॉक्सी का उपयोग करके सभी सेंट्रीफ्यूज प्रक्रिया शुरू करना संभव है। अर्थात्, इस योजना के अनुसार सभी सहभागिता को व्यवस्थित करने के लिए:



पहेली का अंतिम भाग ग्राहक है। बवंडर बॉक्स से बाहर वेब सॉकेट्स के साथ काम करता है, लेकिन मैंने थोड़ा आगे जाने का फैसला किया और क्लाइंट को SockJS का उपयोग करने दिया। तो सब कुछ वेब सॉकेट के समर्थन के बिना ब्राउज़र में काम करेगा। मैं sockjs-tornado के लिए सर्ज एस कोवल (mrjoes) को अलग से धन्यवाद देना चाहूंगा। सॉकेट.आईओ समर्थन की योजना नहीं है।

तो नीचे की रेखा क्या है? और कुछ इस तरह:



जैसा कि आप आरेख में देख सकते हैं, MongoDB या PostgreSQL डेटाबेस के रूप में उपयोग किया जाता है। हमें क्या संग्रह करना चाहिए? परियोजनाओं और उनकी सेटिंग्स, इन परियोजनाओं के भीतर श्रेणियां। मैं आपको इसके बारे में नीचे बताऊंगा

मुझे ऐसा लगता है कि अभी तक मैं स्पष्ट रूप से यह नहीं बता पाया हूं कि ऐसा क्या है कि मैं यहां हर किसी को धोखा दे रहा हूं। तो, कुछ इस तरह, सनक के अनुसार:

1) आप अपनी साइट पर कुछ वास्तविक समय जोड़ना चाहते थे - टिप्पणियां, चार्ट, अद्यतन काउंटर, सूचनाएं ...

2) हालाँकि, आपकी साइट अतुल्यकालिक बैकएंड पर नहीं है, या कुछ भी एसिंक्रोनस है, लेकिन आप चैनल प्रबंधन, सदस्यता, आदि के तर्क को खरोंचने से नहीं लिखना चाहते हैं।

एक अपकेंद्रित्र अच्छी तरह से इस मामले में आप के अनुरूप हो सकता है।

3) पाइप स्थापित अपकेंद्रित्र। या प्रलेखन में थोड़ा और विस्तार से (प्रलेखन अभी भी crumpled है, कभी-कभी समझ से बाहर है, लेकिन भविष्य में मैं इसे बेहतर के लिए बदलने की उम्मीद करता हूं)।

4) एकीकरण अभी भी है ... मैं कुछ महत्वपूर्ण बिंदुओं पर जोर देता हूं।

सबसे पहले, आपको अपकेंद्रित्र शुरू करने की आवश्यकता है। हां, लॉन्च करने के लिए बहुत सारे विकल्प हैं, लेकिन मुझे विश्वास है कि आप सफल होंगे, और यदि नहीं, तो मुझे लिखें, मैं मदद करूंगा।

शुरू करने के बाद, आपको प्रशासनिक वेब इंटरफ़ेस पर जाने, एक नई परियोजना बनाने की आवश्यकता है। परियोजना में कई सेटिंग्स हैं, मैं उन्हें इस लेख में वर्णन नहीं करूंगा - बहुत अधिक पाठ और इतने पर हैं।

प्रोजेक्ट बनाने के बाद, इसमें श्रेणियां जोड़ें - वास्तव में, ये प्रोजेक्ट में नाम स्थान हैं, जिसके भीतर चैनल मौजूद हैं। चूँकि चैनल फ़्लाई पर बनाए जाते हैं, श्रेणियां चैनलों के लिए एक सेटिंग रिपॉजिटरी की भूमिका निभाती हैं, और किसी श्रेणी के भीतर किसी विशेष चैनल की सदस्यता के अधिकारों को सीमित करने के लिए भी मौजूद हैं।

शायद श्रेणी के लिए सबसे महत्वपूर्ण विकल्प द्विदिश है। यदि आप इसे टिक करते हैं, तो कनेक्ट किए गए क्लाइंट आपके एप्लिकेशन को सक्रिय किए बिना, स्वयं चैनल को संदेश भेजने में सक्षम होंगे। अन्यथा, सर्वर से क्लाइंट तक केवल एक-तरफ़ा संदेश होता है - जब आपका एप्लिकेशन POST अनुरोध का उपयोग करके सेंट्रीफ्यूज को एक घटना भेजता है। POST अनुरोध में प्रोजेक्ट, श्रेणी, चैनल और सीधे अग्रेषित संदेश के बारे में डेटा होता है। यह संदेश चैनल को सब्सक्राइब किए गए सभी ग्राहकों को भेजा जाता है।

तो, सेंट्रीफ्यूज (या कई सेंट्रीफ्यूज) अपने इवेंट-लूप को ट्विस्ट करते हैं, प्रोजेक्ट और कैटेगरी बनाई जाती हैं, यह क्लाइंट के हिस्से तक है। जैसा कि मैंने कहा, आप संचार के लिए देशी वेब सॉकेट या SockJS लाइब्रेरी का उपयोग कर सकते हैं। फिलहाल, कोई जावास्क्रिप्ट पुस्तकालय नहीं हैं जो सेंट्रीफ्यूज के साथ बातचीत को सरल बनाते हैं, वे भविष्य में दिखाई दे सकते हैं। अब तक, बातचीत करने के लिए, आपको JSON संदेश भेजने की आवश्यकता है जो JSON योजनाओं के अनुरूप हैं। वर्तमान में ऐसी आज्ञाओं के लिए केवल 4 विधियाँ हैं:

• संबंध - कनेक्शन स्थापित होने के बाद पहला संदेश - प्राधिकरण।
• सदस्यता - सफल प्राधिकरण के बाद, आप विभिन्न श्रेणियों में चैनल की सदस्यता ले सकते हैं जो प्राधिकरण के दौरान एक्सेस किए गए थे।
• सदस्यता समाप्त - चैनल से सदस्यता समाप्त करें
• प्रसारण - एक चैनल को एक संदेश भेजें, केवल द्विदिश श्रेणी से संबंधित चैनलों के लिए काम करता है

सभी को अपकेंद्रित्र के चैनलों से कनेक्ट करने से रोकने के लिए, गुप्त कुंजी के आधार पर सममित एन्क्रिप्शन का उपयोग किया जाता है। यह कुंजी प्रोजेक्ट सेटिंग्स में वेब इंटरफ़ेस में देखी जा सकती है। आपका वेब एप्लिकेशन प्रोजेक्ट की इस गुप्त कुंजी के आधार पर एक विशेष टोकन ( इस तरह ) उत्पन्न करने में सक्षम होना चाहिए।

नए क्लाइंट को कनेक्ट करते समय, यदि आपने प्रोजेक्ट पैरामीटर में एक विशेष पता निर्दिष्ट किया है - सेंट्रीफ्यूज कनेक्ट क्लाइंट के डेटा के साथ इस पते पर एक पोस्ट अनुरोध भेजेगा, तो आपके आवेदन को इस डेटा के आधार पर निर्धारित करना चाहिए कि क्या इस क्लाइंट के पास अनुरोधित अनुभागों तक पहुंच है, और यदि प्राधिकरण को अनुमति है, तो वापस लौटें। संबंधित उत्तर अपकेंद्रित्र है।

मैंने बहुत सारे तकनीकी विवरणों को छोड़ दिया। मैंने विशेष रूप से एक भी कोड नहीं डाला है - परियोजना बहुत युवा है और जो जानता है कि निकट भविष्य में क्या परिवर्तन होगा, कम से कम इस लेख पर टिप्पणियों के बाद। दृश्यों के पीछे विशेष सेंट क्लाइंट का उपयोग करते हुए सेंट्रीफ्यूज के साथ बातचीत थी, क्लाइंट प्राधिकरण का विस्तृत विवरण, ब्राउज़र से बातचीत के लिए कमांड मापदंडों का विश्लेषण, परियोजना के विकल्पों और श्रेणियों का विवरण। मुझे लगता है कि यह बहुत थकाने वाला होगा। यदि परियोजना में कोई दिलचस्पी होगी, तो मैं भविष्य में इस बारे में लिखूंगा।

गिथुब भंडार में सेंट्रीफ्यूज का उपयोग करके एक उदाहरण अनुप्रयोग है । और प्रलेखन में तैनाती के लिए Nginx कॉन्फ़िगरेशन का एक उदाहरण है। लाइसेंस - बीएसडी। यदि किसी भी कारण से आप चाहते हैं, लेकिन लाइसेंस के कारण सेंट्रीफ्यूज का उपयोग नहीं कर सकते हैं - मुझे लिखें, मैं पुनर्विचार करूंगा।

आपकी टिप्पणियों और सुधार के लिए सुझावों की प्रतीक्षा है।