लोचदार MapReduce। वितरित वितरण

ऐसा हुआ कि पहली फिल्म जिसे मैंने "सुपर कंप्यूटर" शब्द का उल्लेख करते हुए देखा, वह टर्मिनेटर था। लेकिन, अजीब तरह से, मेरे (तब भी अभी भी) असंयत मानस ने स्काईनेट को दुनिया की बुराई नहीं माना, जिसके कारण यूनिट परीक्षणों के अपर्याप्त कवरेज के लिए दुनिया के पहले एआई के आक्रामक व्यवहार को जिम्मेदार ठहराया।

उस समय, मेरे पास एक ZX स्पेक्ट्रम था (जिसका 128 Kb स्पष्ट रूप से AI के समान कुछ चलाने के लिए पर्याप्त नहीं था) और बहुत कुछ (मुझे लगता है कि लगभग 10 साल) खाली समय था। बाद के तथ्य के लिए धन्यवाद, मैं वर्चुअलाइजेशन के युग के लिए सुरक्षित रूप से इंतजार कर रहा था। आप कम से कम 10K VPS निकाल सकते हैं, उनके बीच एक संचार चैनल स्थापित कर सकते हैं और AI बनाना शुरू कर सकते हैं। लेकिन मैं प्रोग्रामिंग में संलग्न होना चाहता था, लेकिन ग्रिड-प्रणाली के प्रशासन / विन्यास में नहीं, और मैं तब तक प्रतीक्षा करना शुरू कर देता था जब तक कि कंप्यूटिंग संसाधनों को एक सेवा के रूप में प्रदान नहीं किया जाने लगा।

बादल सेवाओं के प्रकट होने पर मेरी खुशी का अंत नहीं था। लेकिन खुशी लंबे समय तक नहीं रही: यह स्पष्ट हो गया कि अलग-अलग कंप्यूटिंग उदाहरणों के बीच सीधा संचार शानदार कोड है जिसे आपको खुद लिखने की ज़रूरत है (अर्थात, यह सबसे अधिक काम नहीं करेगा)। इस बारे में कुछ वर्षों के बाद, मैं (हम सभी) हाडोप के लिए इंतजार कर रहे थे, पहले ऑन-प्रिमाइसेस और फिर एक लोचदार ऑन-डिमांड । लेकिन वहां भी, जैसा कि यह निकला, सब कुछ इतना लोचदार नहीं है जैसा मैं चाहूंगा। लेकिन यह एक पूरी तरह से अलग कहानी है ... जिसके बारे में, कथा के हास्य स्वर को थोड़ा बदलकर, मैं बताने जा रहा हूं।

Hadoop लोचदार मुद्दों के लिए एक वितरित परिचय

बिग डेटा विश्लेषण से संबंधित दिलचस्प समाधानों के स्रोत के रूप में क्लाउड प्रौद्योगिकियों के सिम्बायोसिस और अपाचे हडोप मंच को कई वर्षों से माना जाता है।

और मुख्य बात यह है कि यह "सहजीवन" क्यों है और "स्वच्छ" होदोप नहीं है, ज़ाहिर है, एमपीपी अनुप्रयोगों के डेवलपर्स के लिए प्रवेश स्तर में कमी (और न केवल) दोनों योग्यता (व्यवस्थापक) और हार्डवेयर में प्रारंभिक वित्तीय निवेशों के संदर्भ में वह भाग जिस पर आवेदन निष्पादित किया जाएगा।

दूसरा बिंदु यह है कि क्लाउड प्रदाता मास्टर / दास आर्किटेक्चर द्वारा लगाए गए कुछ Hadoop * प्रतिबंधों को दरकिनार करने में सक्षम होंगे (मास्टर हमेशा विफलता का एक एकल बिंदु है और इसके साथ कुछ करने की आवश्यकता है) और, संभवतः, Microsoft पर, ड्रायड प्रोजेक्ट के संबंध में जो समानांतर में विकसित हो रहा था। , वहाँ विशेष आशा थी), यहां तक ​​कि मजबूत डेटा वेयरहाउस कोशिशन ( एचडीएफएस ) और वितरित कंप्यूटिंग निष्पादन घटक ( Hadoop MapReduce )।

पहले बिंदु से संबंधित उम्मीदें - हडूप क्लस्टर के स्वामित्व की लागत को कम करना - से अधिक उचित थे: सबसे बड़े तीन क्लाउड प्रदाता, रिलीज-मोड के लिए निकटता की डिग्री में अंतर के साथ, कीमतों के लिए " हडोप क्लस्टर " को एक सेवा के रूप में प्रदान करना शुरू किया (मेरी और सशर्त शब्दावली) स्टार्टअप और / या अनुसंधान टीमों के लिए काफी उत्थान।

हडोप प्लेटफॉर्म की सीमाओं को दरकिनार करने से जुड़ी आशाएं बिल्कुल भी पूरी नहीं हुईं ।

आईएएएस प्लेटफॉर्म की तरह अमेज़ॅन वेब सर्विसेज ने कभी भी एक सेवा के रूप में सेवाएं प्रदान करने की मांग नहीं की है (हालांकि यहां एक अपवाद है - अमेज़ॅन एस 3, अमेज़ॅन डायनामोडीबी)। और 2009 में वापस, अमेज़ॅन ने डेवलपर्स को एक सेवा के रूप में नहीं, बल्कि एक बुनियादी ढांचे के रूप में अमेज़ॅन इलास्टिक मैपड्राइस के साथ प्रदान किया।

2010 के मध्य में अमेज़ॅन के बाद, Google ने अपने Google ऐप इंजन क्लाउड प्लेटफ़ॉर्म के हिस्से के रूप में ऐप इंजन मैपड्राइड सॉफ्टवेयर इंटरफ़ेस के पायलट संस्करण की घोषणा की।

App Engine MapReduce API ने डेवलपर्स को "Hadoop MapReduce" जैसी सुविधाएं प्रदान कीं, जो पहले से ही मानचित्र पर काम कर रहे / प्रतिमान कम कर रहे हैं। लेकिन इसने डेटा वेयरहाउस और कंप्यूटिंग घटकों की मजबूत कनेक्टिविटी की सीमाओं को नहीं हटाया। इसके अलावा, Google ने स्वयं वहां प्रतिबंधों को जोड़ा - केवल मानचित्र चरण ** को फिर से परिभाषित करने की संभावना, और जीएई मंच ही, अपने कोटा के साथ, एप इंजन MapReduce एपीआई पर कुछ और प्रतिबंध लगाए।

2011 में, Microsoft की बारी आई। अक्टूबर 2011 में, Microsoft ने Azure सेवा पर Hadoop खोलने की घोषणा की। वर्तमान में यह CTP संस्करण में है। मैं निमंत्रण की कमी (और आलस्य की उपस्थिति) के कारण इस सेवा की कोशिश नहीं कर सका। लेकिन, Hadoop की दूर की सीमाओं पर लेखों की कमी के कारण, यह स्पष्ट है कि इस मामले में Hadoop को हल करने के लिए Hadoop प्लेटफ़ॉर्म की "समस्याओं" को छोड़ दिया गया था।

"क्लाउड प्लेटफ़ॉर्म + हडोप" पर आधारित समाधानों की सीमाएँ हमें क्लाउड मैपरेड प्रोजेक्ट द्वारा हल की गई समस्याओं की सीमा को समझने की अनुमति देती हैं, जिस पर इस लेख के शेष भाग में चर्चा की जाएगी।

1. मेघ मानचित्र। मूल अवधारणाएँ

Cloud MapReduce (CMR) एक ओपन सोर्स प्रोजेक्ट है जो अमेज़ॅन वेब सर्विसेज क्लाउड सेवाओं पर आधारित (शीर्ष पर) सॉफ्टवेयर प्रतिमान को कम करता है।

CMR एक क्लाउड ऑपरेटिंग सिस्टम की अवधारणा पर आधारित है। यदि हम पारंपरिक OS के साथ एक सादृश्य बनाते हैं, तो क्लाउड OS में:

• सीपीयू द्वारा कंप्यूटिंग संसाधनों का प्रतिनिधित्व नहीं किया जाता है, लेकिन अमेज़ॅन ईसी 2 / विंडोज एज़्योर वर्कर्स / Google कंप्यूट इंजन द्वारा;
  
• हार्ड डिस्क (एसडी-, फ्लैश ड्राइव, आदि) द्वारा डेटा स्टोरेज का प्रतिनिधित्व नहीं किया जाता है, लेकिन Amazon S3 / Windows Azure Blob / Google क्लाउड स्टोरेज सेवाओं द्वारा;
  
• राज्य की दुकान (जो OC रिबूट के बाद खो नहीं जाती है) रजिस्ट्री (या एक समान फ़ंक्शन के साथ एक स्थानीय संरचना) द्वारा प्रतिनिधित्व नहीं की जाती है, लेकिन अमेज़ॅन सिम्पलबीडीबी / विंडोज एज़्योर टेबल / Google बिगविक सेवाओं द्वारा;
  
• इंटरप्रोसेस संचार तंत्र अमेजन SQS / Windows Azure Queue / Google App Engine Task Queue API सेवाओं का उपयोग करके कार्यान्वित किया जाता है ।
  

क्लाउड मैपसाइड आर्किटेक्चर में क्लाउड ओएस के सिद्धांतों को निर्धारित करने के बाद, डेवलपर्स को एक प्रभावशाली परिणाम मिला। अपने ब्लॉग पर, वे अपने प्लेटफ़ॉर्म की Hadoop प्लेटफ़ॉर्म से तुलना करने से निम्नलिखित तथ्यों का हवाला देते हैं:

• विफलता के एक भी बिंदु की कमी;
  
• MapReduce का काम चलाने से पहले HDFS को स्टोरेज सेवाओं (जैसे अमेज़न S3) से डेटा कॉपी करने की आवश्यकता नहीं है
  
• 60 से अधिक बार कुछ मामलों में त्वरण;
  
• परियोजना जावा में केवल 3,000 लाइनों का कोड लेती है, जबकि Hadoop "280K" कोड के जितना "स्थित" है।
  

इसके अलावा, Apache Hadoop के विपरीत Cloud MapReduce, मास्टर / दास वास्तुकला के आधार पर डिज़ाइन नहीं किया गया था। सहकर्मी की तरह के आर्किटेक्चर (विफलता के एक बिंदु की अनुपस्थिति) के स्पष्ट लाभों के अलावा, सीएमआर डेवलपर्स अपने कार्यान्वयन के फायदों को लाते हैं, मैपाउड को फेलो की तुलना में हडोप, कॉन्फ़िगरेशन, बैकअप, रिकवरी की तुलना में अधिक सरल है।

स्केलेबिलिटी बढ़ाना भी सीएमआर का एक गुण है: जब एक क्लस्टर में नए कंप्यूटिंग इंस्टेंस जोड़े जाते हैं, तो वे "हॉट" मैप से जुड़े होते हैं / टास्क को कम करते हैं। इसके अलावा, सीएमआर को एक समरूप क्लस्टर (यानी एक ही कंप्यूटिंग शक्ति वाली मशीनों से) की आवश्यकता नहीं है (अनुशंसित)। विषम मशीनों के एक समूह में, सबसे तेज़ मशीन धीमी मशीन की तुलना में अधिक कार्य करेगी।

मुझे लगता है कि वृद्धिशील मापनीयता वास्तव में Hadoop मंच की कमी है। लेकिन क्लस्टर समरूपता के लिए आवश्यकताओं (सिफारिशों) की कमी शायद ही बादल के वातावरण के लिए प्रासंगिक है।

2. क्लाउड मेपर्ड। आर्किटेक्चर

क्लाउड मैपआरड्यूस आर्किटेक्चर को निम्नलिखित तार्किक परतों में विभाजित किया गया है:

• डेटा भंडारण परत ( स्टोरेज लेयर );
• परत प्रसंस्करण और कंप्यूटिंग ( कम्प्यूटिंग लेयर );
• बातचीत की परत ( संदेश )।

इन परतों के संबंध, जानकारी बहती है और जिन सेवाओं के साथ इसे AWS में प्रस्तुत किया जाता है, उन्हें नीचे दिए गए चित्र में दिखाया गया है।

नीचे हम उपरोक्त सभी परतों के कार्य के बारे में अधिक विस्तार से विश्लेषण करते हैं।

2.1। नोड्स के बीच बातचीत

मैप वर्कर्स और रिड्यूस वर्कर्स नोड्स के बीच की बातचीत कतारबद्ध है। क्लाउड मैपरेड में कतारें अमेज़ॅन एसक्यूएस द्वारा प्रदान की जाती हैं।

CMR में निम्न प्रकार की कतारें मौजूद हैं:

• इनपुट / मैप कतार - मानचित्र कार्यों की कतार;
  
• एकाधिक कटौती कतार - मानचित्र-कार्यों के निष्पादन के मध्यवर्ती परिणामों की कतार;
  
• मास्टर क्यू कम करें - नौकरी की कतार को कम करें ;
  
• आउटपुट कतार - आउटपुट कतार।
  

Amazon SQS / Azure Queues के संदेशों में एक "अदृश्यता समय समाप्ति" तंत्र है। तंत्र का तर्क यह है: संदेश कतार से लिया जाता है, जिसके बाद संदेश कतार में अदृश्य हो जाता है। संदेश के सफल प्रसंस्करण पर, कतारों में से अंतिम हटा दिया जाता है, अन्यथा, अदृश्यता समय समाप्त होने के बाद, संदेश कतार में फिर से दिखाई देता है।

कतार सेवाओं द्वारा प्रदान की गई "इनविजिबिलिटी टाइमआउट" तंत्र के लिए धन्यवाद, मैप और रिड्यूस वर्कर विफलताओं के लिए बहुत सरल समर्थन लागू किया जाता है और क्लस्टर की समग्र गलती सहनशीलता बढ़ जाती है।

2.2। डेटा भंडारण

डेटा वेयरहाउस एप्लिकेशन इनपुट को संग्रहीत करता है और अमेज़ॅन एस 3 द्वारा प्रदान किया जाता है।

अमेज़ॅन एस 3 भी डेटा भंडारण परत का एक क्लीनर अमूर्तता प्रदान करता है, इस तथ्य के कारण कि डेटा को संसाधनों (जो कि आरईएस सेवाओं की विशेषता है) तक पहुंच प्रदान की जाती है, और फाइलों के रूप में नहीं (जो फ़ाइल सिस्टम के लिए विशिष्ट है)। यह ध्यान दिया जाना चाहिए कि क्लाउड स्टोरेज में डेटा को स्टोर करने का दृष्टिकोण एक नकारात्मक पहलू है - कम प्रबंधन।

अमेज़ॅन एस 3 मानचित्र चरण में विश्लेषण किए गए डेटा को संग्रहीत करता है। इनपुट कतार में एक जोड़ी होती है <k, v>, जहां k, सामान्य स्थिति में, मानचित्र कार्य का पहचानकर्ता है, और v S3 में फ़ाइल का लिंक है और वैकल्पिक रूप से फ़ाइल के अंदर के भाग के लिए एक संकेतक है।

यह दृष्टिकोण Amazon Elastic MapReduce सेवा में MapReduce कार्य को लॉन्च करने के पहले चरण में Amazon S3 से HDFS के डेटा की प्रतिलिपि बनाने के साथ असुविधा / समस्या (किसी के लिए) को हटा देता है।

डेवलपर ने यह भी कहा कि उत्पादन को सीधे अमेज़न S3 में भी बचाया जा सकता है:

हम अपने इनपुट और संभवतः आउटपुट डेटा को S3 में संग्रहीत करते हैं

यह स्पष्ट रूप से प्रलेखन से निम्नानुसार है कि कम चरण के सभी परिणाम जोड़े के रूप में कम <क्यू ', वी'> में संग्रहीत किए जाते हैं।

2.3। कम्प्यूटिंग नोड्स

कंप्यूट नोड्स उपयोगकर्ता-परिभाषित मानचित्र चलाते हैं और नौकरियों को कम करते हैं। कंप्यूट नोड्स EC2 उदाहरणों द्वारा दर्शाए जाते हैं और इन्हें 2 प्रकारों में विभाजित किया जाता है: मैप वर्कर्स और कम वर्कर्स । मैप वर्कर्स पर, मैप फ़ंक्शंस निष्पादित होते हैं, कम कर्मचारियों पर, फ़ंक्शंस को कम करते हैं।

समान EC2-उदाहरण के लिए, यह लगातार मैप वर्कर और रिड्यूस वर्कर दोनों की भूमिका निभा सकता है।

मानचित्र के वर्कफ़्लोज़- और कम-संचालन नीचे दिए गए हैं।

मैपर वर्कफ़्लो:

1. मानचित्र कार्यों के लिए डेटा से कतार की कतार के लिंक प्राप्त करना;
   
2. अमेज़न S3 से डेटा निकालें;
   
3. उपयोगकर्ता द्वारा परिभाषित मानचित्र फ़ंक्शन का निष्पादन;
   
4. एकाधिक रिड्यूस क्यू के सेट से, k 'हैश (जब तक स्पष्ट रूप से पुनर्निर्धारित नहीं किया गया है) के आधार पर परिभाषित कतार में निष्पादन परिणाम <k', v '> जोड़ना;
   
5. मैप क्यू से एक मैप जॉब निकाल रहा है।
   

Reducer वर्कफ़्लो:

1. मास्टर क्यू से कतार को कम करने के लिए एक कड़ी हो जाती है कतार कतार जिसमें कन्वेंशन फ़ंक्शन लागू किया जाना चाहिए;
   
2. पुनर्प्राप्त करता है <k ', v'> - एकाधिक कमी कतारों की कतारों के सेट की संगत कतार से जोड़े;
   
3. उपयोगकर्ता-परिभाषित कम फ़ंक्शन को निष्पादित करता है और आउटपुट जोड़े <k '', v ''> आउटपुट कतार में जोड़ता है;
   
4. मास्टर कम क्यू से एक कम नौकरी निकालता है।
   

2.4। ग्राहक

क्लाइंट ( जॉब क्लाइंट ) - एक सॉफ्टवेयर क्लाइंट जो मैप / कम करने वाले कार्यों के कार्यान्वयन को नियंत्रित करता है।

CMR प्रलेखन से ग्राहक के बारे में कम से कम स्पष्ट बात। लेकिन, यह देखते हुए कि हम मैप के वर्कफ़्लो के बारे में जानते हैं और वर्कर्स और ऐसी प्रणालियों के निर्माण के सिद्धांतों को कम करते हैं, मुझे जॉब क्लाइंट वर्कफ़्लो के बारे में कुछ-कुछ वैज्ञानिक मान्यताओं के बारे में बताते हैं।

जॉब क्लाइंट का कार्य प्रवाह निम्न चरणों में विभाजित है:

1. अमेज़न एस 3 सेवा में इनपुट डेटा की बचत;
   
2. प्रत्येक डेटा विभाजन के लिए एक मानचित्र कार्य बनाना और बनाया गया कार्य कतार मानचित्र कतार में जोड़ना;
   
3. कई कतारें बनाना कई कतारें कम करना;
   
4. एक मास्टर क्यू कतार बनाएँ और प्रत्येक विभाजन कतार के लिए बनाई गई कम नौकरी कतार जोड़ें;
   
5. एक आउटपुट कतार बनाना;
   
6. एक जॉब रिक्वेस्ट बनाना और बनाया गया रिक्वेस्ट को सिंपलडीबी में जोड़ना
   
7. मैप वर्कर्स और कम वर्कर्स के लिए EC2 इंस्टेंस लॉन्च करें;
   
8. सर्वे मैप वर्कर्स और कार्यों को पूरा करने की स्थिति प्राप्त करने के लिए श्रमिकों को कम करें;
   
9. सभी कार्यों के अंत में, आउटपुट कतार से परिणाम लोड करना।
   

2.5। सहायक ऑपरेशन

मानचित्र के निष्पादन की स्थिति को बचाने / अद्यतन करने के संचालन को गैर-संबंधपरक डेटाबेस के आधार पर लागू किया जाता है। AWS में गैर-संबंधपरक डेटाबेस का प्रतिनिधित्व Amazon SimpleDB (2007 से) और Amazon DynamoDB (2012 से) द्वारा किया जाता है।
क्योंकि चूंकि सीएमआर आर्किटेक्चर कंप्यूटिंग क्लस्टर में शामिल सभी नोड्स के समतुल्यता का अर्थ है, अमेज़ॅन सिम्पलडीबी सेवा, जो एक वितरित गैर-संबंधपरक डेटा वेयरहाउस प्रदान करता है, नोड समन्वय का केंद्र है।

निष्कर्ष और फुटनोट्स

मैं आपको आज या कल *** क्लाउड मैप स्विच करने के लिए प्रोत्साहित नहीं करता हूं, जैसा कि मैंने हास्केल पुस्तक को पढ़ने के दौरान इस निर्विवाद रूप से महान भाषा में एक प्रोग्रामर बनने का इरादा नहीं किया है।

क्लाउड मैप्रेड्यूस में ऐसी खामियां हैं जो इसे महत्वपूर्ण (एक छोटी टीम, दुर्लभ अद्यतन, एक पारिस्थितिकी तंत्र की कमी जैसे हडोप की) का उपयोग करने के व्यावसायिक जोखिमों को बनाते हैं, और संभावनाएं अस्पष्ट हैं। लेकिन क्लाउड MapReduce प्रोजेक्ट आर्किटेक्चर की कार्यात्मक प्रोग्रामिंग से निकले विचार आईटी पेशेवरों के बीच डेटा गहन कम्प्यूटिंग के पहले से स्थापित Hadoop-उन्मुख दृश्य पर और भी अधिक वितरित रूप प्रदान करते हैं।

* मैं अपाचे Hadoop 2.0 के अल्फा संस्करण को ध्यान में नहीं रखता, जो कि वर्णित वास्तुकला सीमाओं के "वंचित" (अधिक सटीक रूप से, रिलीज़ संस्करण "वंचित होने जा रहा है") है।
** यह याद किया जाता है (या मैं सपना देख सकता था?) कि Google I / O 2011 सम्मेलन में, ऐप इंजन प्लेटफॉर्म की मौजूदा सीमाओं को कम करने के अलावा, माइक आइज़त्स्की (मैं भी विकृत नहीं होगा), Google इंजीनियर मैप एल्गोरिथ्म के अन्य चरणों को फिर से परिभाषित करने की संभावना प्रदान करने के लिए काम कर रहे हैं। / App Engine MapReduce API में कमी करें।
*** साथ ही विपरीत के लिए नहीं बुला रहा है।