गियरमैन - कार्य वितरण ढांचा, परिचय

इस लेख में, मैं आवेदन के अनुकूलन के लिए असामान्य तरीकों में से एक पर विचार करना चाहूंगा, अर्थात् कार्य वितरण के लिए गियरमैन परियोजना का उपयोग। गियरमैन ऐसी प्रणालियों के निर्माण की रूपरेखा है। लेख में कोई कोड उदाहरण नहीं हैं, लेख अधिक परिचयात्मक है, हालांकि इसमें पर्याप्त व्यावहारिक जानकारी है।

किसी भी परियोजना में जो कार्यक्षमता और भार के मामले में काफी जटिल है, जल्दी या बाद में अनुकूलन और स्केलेबिलिटी का सवाल उठता है। समस्याओं के इस जटिल को हल करने के लिए कई दृष्टिकोण हैं, संपूर्ण सिस्टम या विशेष रूप से लोड किए गए भागों की कंप्यूटिंग शक्ति में एक विशिष्ट वृद्धि से लेकर, विशेष सॉफ्टवेयर और हार्डवेयर सिस्टम के रूप में जटिल समाधान तक। इन समाधानों का संयोजन न केवल लक्ष्य है - तेज, उच्चतर, मजबूत, बल्कि उन्हें हल करने के लिए दृष्टिकोण - कमजोरियों की खोज और पहचान। अक्सर, अड़चन ग्राफिक सूचना, एन्क्रिप्शन, संग्रह, भारी डेटाबेस प्रश्नों के प्रसंस्करण से संबंधित एक संसाधन-गहन कार्य है जो बड़ी मात्रा में जानकारी को संसाधित और / या वापस करता है।

गियरमैन एक ओपन सोर्स प्रोजेक्ट है जिसे डंगा इंटरएक्टिव में लोगों द्वारा विकसित किया गया था। नाम शब्द प्रबंधक के लिए विपर्यय से अधिक कुछ नहीं है, और यह प्रबंधक की भूमिका है जो इस एप्लिकेशन की कार्यक्षमता का एक संक्षिप्त विवरण है - प्रबंधन, नियंत्रण और विभिन्न कार्यों का वितरण। प्रारंभ में, गियरमैन को पर्ल में लागू किया गया था, लेकिन समय के साथ यह सी में फिर से लिखा गया था जो कि लीबवेंट लाइब्रेरी का उपयोग कर रहा था, जिनमें से उपस्थिति मुख्य भाग के कामकाज के लिए आवश्यक है - कार्य सर्वर। किसी भी * निक्स प्रणाली के लिए इंस्टालेशन कोई बड़ी बात नहीं है, और अधिकांश लिनक्स वितरण में गियरमैन पैकेज को मानक रिपॉजिटरी में शामिल किया जाता है।

यह व्याख्या करने योग्य है कि लेखक ने इस लेख के शीर्षक में "रूपरेखा" शब्द का उपयोग क्यों किया है। तथ्य यह है कि गियरमैन का उपयोग, हालांकि यह अपेक्षाकृत सरल है, एक ही समय में, कार्य के एक प्रभावी समाधान के लिए काफी गंभीर विकास की आवश्यकता होगी - यह तैयार-तैयार समाधान नहीं है।

एक अनुप्रयोग जो अपने काम में गियरमैन का उपयोग करता है वह 3 मुख्य घटकों के साथ काम करता है:

• कार्य सर्वर - गियरमैन का केंद्रीय हिस्सा है, यह यहां है कि कार्यों और परिणाम क्लाइंट और कलाकारों से आएंगे, और यह यहां से है कि कार्य और परिणाम क्रमशः कलाकारों और ग्राहकों को भेजे जाएंगे।
• ठेकेदार - मुख्य हिस्सा है जहां किसी भी कार्यक्षमता का कार्यान्वयन आवश्यक है। ठेकेदार सर्वर से कार्य को पूरा करने की कोशिश करता है।
• क्लाइंट को अलग से भी लागू किया जाता है, सर्वर को कार्य बनाता है और भेजता है और कुछ मामलों में (बाद में उनके बारे में अधिक), परिणाम प्राप्त करता है।

क्लाइंट और ठेकेदार आवश्यक कार्यों को कॉल करने और कार्यान्वित करने के लिए गियरमैन एपीआई का उपयोग करते हैं। एक चित्र जो उपरोक्त वास्तुकला को दिखाता है, मुख्य परियोजना स्थल पर दिखाया गया है:



ऐसी प्रणाली के संचालन के एक क्लासिक उदाहरण पर विचार करें - उपयोगकर्ता ने साइट पर एक तस्वीर अपलोड की है, और इसे अपने सभी दोस्तों को दिखाना चाहता है। आपको पूरी साइट पर उपयोग के लिए इस तस्वीर के विभिन्न आकारों को जल्दी से तैयार करने की आवश्यकता है। हां, एक निश्चित बिंदु तक, ग्राफिक्स उत्पन्न करने का सारा काम सिस्टम के मुख्य कोड में किया जा सकता है, और फिर हेब्राफ़ेक्ट आ जाएगा, और पूरा सिस्टम कॉमर्स की आमद के तहत ढह जाएगा। अब हम यह देखेंगे कि गियरमैन का उपयोग करके इस समस्या को कैसे हल किया जा सकता है - फोटो प्राप्त करते समय, हम गियरमैन सर्वर के लिए एक कार्य बनाते हैं, जिसमें फोटो के बारे में आवश्यक जानकारी शामिल होती है (सिद्धांत रूप में, कार्य में भी फोटो को शामिल करना संभव है, लेकिन, ऐसा लगता है कि यह लाभहीन है, बेहतर होगा। पता का उपयोग करें) और निष्पादन के लिए भेजें। कार्य सर्वर एक पूर्ण निष्पादक (राउंड रॉबिन) का चयन करता है (जैसा कि आप शायद पहले ही अनुमान लगा चुके हैं, कई निष्पादक हो सकते हैं) और कार्य को पूरा करने के लिए भेजता है। ठेकेदार सभी आवश्यक जानकारी प्राप्त करता है, इसे संसाधित करता है जैसा कि हम इसे पसंद करेंगे, और सफलतापूर्वक पूरा किए गए कार्य के बारे में एक उत्तर भेजता है और, यदि कार्य समकालिक था, कार्य का परिणाम है। हां, दो प्रकार के कार्य हैं - सिंक्रोनस, जब क्लाइंट कार्य पूरा होने की प्रतीक्षा कर रहा है, और तदनुसार परिणाम, और अतुल्यकालिक, जब क्लाइंट केवल कार्य के सर्जक के रूप में कार्य करता है। अब हम यहां इस तथ्य को जोड़ते हैं कि गियरमैन एप्लिकेशन के कुछ हिस्सों के बीच संचार प्रोटोकॉल टीसीपी / आईपी है, अर्थात यह समझा जाता है कि प्रत्येक भाग (सर्वर, क्लाइंट, निष्पादक) एक अलग मशीन पर हो सकता है। कई सर्वर और क्लाइंट हो सकते हैं। क्लाइंट का कार्यान्वयन और निष्पादक एक दूसरे से स्वतंत्र होते हैं (गियरमैन के साथ काम करने के लिए उपलब्ध एपीआई को लागू किया जाता है, जिसमें पर्ल, php, अजगर, जावा, C, MySQL UDF, आदि शामिल हैं)। परियोजना सक्रिय रूप से विकसित हो रही है - हर महीने बग फिक्स और सुधार के साथ नए संस्करण जारी किए जाते हैं। आउटपुट में, हमें एक सुंदर रसीला चित्र मिलता है, जहाँ हल किए जाने वाले कार्यों की सीमा केवल डेवलपर की कल्पना और अनुभव से सीमित होती है। उदाहरण के लिए, कई सामान्य कार्य जिन्हें सफलतापूर्वक हल किया गया है और गियरमैन का उपयोग करके हल किया गया है:

• प्रसंस्करण फ़ोटो के साथ ऊपर वर्णित कार्य, और केवल विभिन्न आकारों को उत्पन्न करने के लिए खुद को सीमित न करें
• ग्राहक के मुकुट और देरी का उपयोग किए बिना, कैश में अतुल्यकालिक अमान्य / अद्यतन करना
• बड़ी मात्रा में डेटा संग्रहीत करना
• निष्पादनकर्ता की तरफ एन्क्रिप्शन का उपयोग करके प्रारूप में डेटा - (कुंजी => मान) के साथ काम करें

अब कुछ व्यावहारिक जानकारी। गियरमैन में काम का मुख्य उद्देश्य कार्य है - कार्य, जिसमें प्रकार (समकालिक, अतुल्यकालिक) शामिल हैं, कार्य का नाम (उदाहरण के लिए, आकार), और पैरामीटर - कार्यभार। प्रत्येक कार्य को नाम / मापदंडों की एक जोड़ी द्वारा पहचाना जाता है। यही है, अगर एक ही पैरामीटर के साथ दो समान कार्य सर्वर पर आते हैं, तो केवल पहला पूरा हो जाएगा, दूसरा सर्वर वापस फेंक दिया जाएगा। इस बारीकियों के कारण, कई दिलचस्प चीजें होती हैं, इसलिए यह हमेशा याद रखने योग्य है - क्या किसी विशिष्ट कार्य को पूरा करना आवश्यक है? - मापदंडों के लिए एक अद्वितीय मूल्य जोड़ें।

सर्वर एक डेमन प्रक्रिया है। इस तरह के अनुप्रयोगों के लिए उपयोगकर्ता-पोर्ट-इंटरफ़ेस सेटिंग्स मानक के साथ बहुत सारे कॉन्फ़िगरेशन पैरामीटर हैं, कई विशिष्ट विकल्प भी हैं। कार्य को पूरा करने के प्रयासों की संख्या -j पैरामीटर, --job-retries = के साथ कॉन्फ़िगर की गई है। एकाधिक थ्रेड का उपयोग करने के लिए, -t विकल्प मौजूद है, - थ्रेड =। सर्वर में कार्य कतार को किसी प्रकार के संग्रहण में सहेजने की क्षमता होती है ताकि पुनः आरंभ करने पर डेटा को खोए बिना पूरी प्रक्रिया को पुनर्स्थापित करना संभव हो। भंडार MySQL / बूंदा बांदी, ज्ञापन, PostgreSQL या sqllite हो सकता है। दिलचस्प से अधिक संचार प्रक्रिया क्लाइंट -> कार्य सर्वर में तृतीय-पक्ष प्रोटोकॉल का उपयोग करने का विकल्प है। वर्तमान में लागू एकमात्र ऐसा प्रोटोकॉल HTTP है। इस विकल्प का उपयोग करते हुए, आप एक HTTP अनुरोध के माध्यम से एक विशिष्ट पोर्ट पर कार्यों को प्राप्त करने के लिए गियरमैन सर्वर को कॉन्फ़िगर कर सकते हैं (अनुरोधित यूआरआई को कार्य नाम में अनुवादित किया गया है, HTTP बॉडी को कार्यभार, http हेडर, क्रमशः, कार्य प्रकार में), अर्थात्, क्लाइंट कार्यान्वयन एक सरल HTTP क्लाइंट को लागू करने के लिए नीचे आता है। फोन करने वाला। यह कार्य के प्रकार / आकार पर कोई प्रतिबंध नहीं लगाता है। यहाँ गियरमैन में HTTP का उपयोग करने के बारे में और पढ़ें। HTTP प्रोटोकॉल और गियरमैन का उपयोग करना, कुशलतापूर्वक संतुलित REST सेवाओं का निर्माण करना पहले से आसान हो सकता है। आप लगभग किसी भी प्रोग्रामिंग भाषा से गियरमैन के लिए कार्य बना सकते हैं, क्योंकि एपीआई फ़ंक्शन को कॉल करने के लिए रैपर अधिकांश वातावरणों के लिए लिखे जाते हैं।

प्रदर्शन वाला हिस्सा क्रमशः तथाकथित निष्पादक में स्थित है। यहां, mysql में उपयोगकर्ता-परिभाषित कार्यों के लिए मानक php, अजगर, जावा से लेकर कार्यान्वयन उपकरण का विकल्प भी बहुत व्यापक है। एकमात्र शर्त गियरमैन लाइब्रेरी समर्थन की उपलब्धता है, जिसे किसी भी मॉड्यूल के अतिरिक्त संकलन की आवश्यकता हो सकती है। तथाकथित निष्पादक (कार्यकर्ता) एक पृष्ठभूमि प्रक्रिया है, इसे शुरू करने के बाद सभी कार्यों को पंजीकृत करता है जो यह प्रदर्शन कर सकता है और, स्मृति में होने के कारण, सर्वर से आने वाले कार्यों की प्रतीक्षा करता है। किसी विशेष विक्रेता के साथ संचार करने वाले सर्वरों की संख्या सीमित नहीं है।

चलो कमियों के बारे में बात करते हैं, उनमें से कई हैं, और वे गंभीरता के अलग-अलग डिग्री हैं। चूंकि निष्पादक एक लंबे समय तक रहने वाली प्रक्रिया है, इसलिए इसकी कार्यक्षमता में कोई भी परिवर्तन निष्पादक को पुनः आरंभ करने की प्रक्रिया को दर्शाता है, वही कार्य उन निष्पादन को जोड़ने / हटाने पर लागू होता है जो यह निष्पादक कर सकता है। यही है, यदि आपको एक नया फ़ंक्शन जोड़ने या किसी मौजूदा को बदलने की आवश्यकता है, तो आपको इस कार्य के साथ जुड़े कलाकारों की सभी प्रक्रियाओं को पुनः आरंभ करने की आवश्यकता है। यह प्रक्रिया, उस स्थिति में जब कलाकार विभिन्न सर्वरों में, अलग-अलग संख्याओं में बिखरे हुए हैं, तुच्छ नहीं है। और सभी भाषाओं को कुशल डेमॉन प्रक्रियाओं को लिखने के लिए डिज़ाइन नहीं किया गया है।

सर्वर द्वारा कार्यों का वितरण केवल एक एल्गोरिथ्म के अनुसार होता है - राउंड रॉबिन। हां, दो प्राथमिकता स्तर वाले कार्य हैं - उच्च और निम्न। लेकिन कार्यों के निष्पादन पर अधिक सटीक नियंत्रण उपलब्ध नहीं है। इसके अलावा, यह जानना असंभव है कि कार्य निष्पादित करने वालों में से कौन सा सही है, और यह भी असंभव है कि किस नोड को सीधे भेजा जाना चाहिए, जो डिबगिंग प्रक्रिया को बहुत जटिल करता है।

ऊपर वर्णित नुकसान से, मुख्य एक निम्नानुसार है - कार्यान्वित प्रणाली के प्रबंधन के लिए साने की कमी। आपको सब कुछ मैन्युअल रूप से करना होगा, और गियरमैन एप्लिकेशन की संरचना को ध्यान में रखना होगा।

बेशक, वर्णित सभी समस्याओं के लिए समाधान हैं, जिसके कार्यान्वयन मैं अगले लेख में लिखने की कोशिश करूंगा।

अब गियरमैन के बारे में जानकारी के स्रोतों और अन्य दिलचस्प बातों के लिए एक छोटा सा लिंक:

• वास्तव में मुख्य साइट: gearman.org
• लॉन्चपैड प्रोजेक्ट पेज: launchpad.net/gearmand
• Google समूहों में चर्चा: group.google.com/group/gearman/topics
• PHP में उपयोग के उदाहरण: http://highload.com.ua/
• गियरमैन सर्वर स्टार्टअप : gearmanhq.com