Hadoop में डेटा स्थानीयता के साथ डेटा प्रोसेसिंग गति में सुधार

द्वारा पोस्ट किया गया: एंड्री लाज़रेव

कंप्यूटिंग में मुख्य अड़चनों में से एक है कि बड़ी मात्रा में डेटा को संसाधित करने की आवश्यकता होती है स्विच के माध्यम से गुजरने वाला नेटवर्क ट्रैफ़िक है। सौभाग्य से, डेटा स्थित है नोड पर मानचित्र कोड निष्पादित करने से यह समस्या बहुत कम गंभीर हो जाती है। "डेटा स्थानीयता" नामक यह विधि, Hadoop Map / Reduce मॉडल के मुख्य लाभों में से एक है।

इस लेख में, हम डेटा स्थानीयता के लिए आवश्यकताओं पर विचार करेंगे, साथ ही साथ ओपनस्टैक वर्चुअलाइज्ड वातावरण हडूप क्लस्टर की टोपोलॉजी को कैसे प्रभावित करता है, और सवाना के साथ हडोप का उपयोग करते समय डेटा स्थानीयता कैसे सुनिश्चित करें।

Hadoop डेटा स्थानीयता आवश्यकताओं

डेटा स्थानीयता का पूरा लाभ उठाने के लिए, आपको यह सुनिश्चित करने की आवश्यकता है कि आपका सिस्टम आर्किटेक्चर कई शर्तों को पूरा करता है।

सबसे पहले, क्लस्टर में एक उपयुक्त टोपोलॉजी होनी चाहिए। Hadoop का मैप कोड स्थानीय स्तर पर डेटा पढ़ने में सक्षम होना चाहिए। कुछ लोकप्रिय समाधान, जैसे नेटवर्क संलग्न भंडारण (नेटवर्क संलग्न भंडारण [NAS] और नेटवर्क संलग्न भंडारण [SANs]), हमेशा नेटवर्क ट्रैफ़िक उत्पन्न करेंगे, इसलिए एक अर्थ में आप उन्हें "स्थानीय" नहीं मान सकते, लेकिन, वास्तव में, , यह देखने के बिंदु पर निर्भर करता है। अपनी स्थिति के आधार पर, आप "स्थानीय" को "समान डेटा केंद्र के भीतर स्थित" या "सब कुछ जो एक ही रैक पर है" के रूप में परिभाषित कर सकते हैं।

दूसरा, Hadoop क्लस्टर को उन नोड्स की टोपोलॉजी का पता होना चाहिए, जिन पर नौकरियां चल रही हैं। टास्कट्रैकर नोड्स का उपयोग मैप कार्यों को करने के लिए किया जाता है, इसलिए Hadoop शेड्यूलर को कार्यों को ठीक से वितरित करने के लिए नेटवर्क टोपोलॉजी जानकारी की आवश्यकता होती है।

अंतिम लेकिन कम से कम, Hadoop क्लस्टर को यह जानने की आवश्यकता है कि डेटा कहाँ स्थित है। Hadoop में विभिन्न स्टोरेज सिस्टम के समर्थन के कारण यह थोड़ा अधिक जटिल हो सकता है। तो, एचडीएफएस डेटा के डिफ़ॉल्ट इलाके का समर्थन करता है, जबकि अन्य ड्राइवरों (जैसे स्विफ्ट) को हडोप में टोपोलॉजी की जानकारी प्रदान करने के लिए विस्तार की आवश्यकता होती है।

वर्चुअलाइज्ड इन्फ्रास्ट्रक्चर में Hadoop क्लस्टर टॉपोलॉजी

Hadoop आमतौर पर 3-स्तरीय नेटवर्क टोपोलॉजी का उपयोग करता है। प्रारंभ में, इन तीन स्तरों में डेटा सेंटर, रैक और नोड शामिल थे, हालांकि क्रॉस-डेटा सेंटर का मामला सामान्य नहीं है और इस स्तर का उपयोग अक्सर शीर्ष-स्तर स्विच को परिभाषित करने के लिए किया जाता है।



ऐसा टोपोलॉजी पारंपरिक रूप से हाडोप क्लस्टर्स के कार्यान्वयन के लिए उपयुक्त है, लेकिन इन तीन स्तरों पर प्रदर्शित करने के लिए आभासी वातावरण कठिन है, क्योंकि उनमें एक हाइपरवाइजर के लिए कोई जगह नहीं है। कुछ शर्तों के तहत, एक ही मेजबान मशीन पर चलने वाली दो आभासी मशीनें बहुत तेजी से बातचीत कर सकती हैं, जैसे कि वे अलग-अलग होस्ट मशीनों पर चल रही थीं, क्योंकि कोई नेटवर्क शामिल नहीं है। इसलिए, संस्करण 1.2.0 के साथ शुरू, Hadoop एक 4-स्तरीय टोपोलॉजी का समर्थन करता है।



यह नया स्तर, जिसे "होस्ट समूह" कहा जाता है, वर्चुअल मशीन को होस्ट करने वाले हाइपरविजर से मेल खाता है। अलग-अलग आभासी मशीनों में एक ही मेजबान मशीन पर कई नोड हो सकते हैं, जो एक हाइपरवाइजर द्वारा नियंत्रित होते हैं, जो नेटवर्क के माध्यम से डेटा पारित किए बिना बातचीत करना संभव बनाता है।

सवाना और हडोप में डाटा लोकलिटी

तो, उपरोक्त सभी को जानते हुए, व्यवहार में इसे कैसे लागू किया जाए? एक विकल्प यह है कि सवाना का उपयोग अपने Hadoop समूहों को कॉन्फ़िगर करने के लिए करें।

सवाना एक ओपनस्टैक प्रोजेक्ट है जो आपको ओपनस्टैक प्लेटफॉर्म के शीर्ष पर हाडोप क्लस्टर्स को तैनात करने और उस पर कार्य करने की अनुमति देता है। नवीनतम सवाना 0.3 रिलीज में, वैनिला प्लगइन के लिए डेटा स्थानीयता समर्थन जोड़ा गया था (हॉर्टनवर्क्स प्लगइन में, अगले आइसहाउस रिलीज में डेटा स्थानीयता समर्थन की योजना है)। इस वृद्धि के साथ, सवाना हादोप में क्लस्टर टोपोलॉजी के विन्यास को आगे बढ़ा सकता है और डेटा स्थानीयता सुनिश्चित कर सकता है। यह सवाना को 3- और 4-स्तरीय नेटवर्क टोपोलॉजी दोनों का समर्थन करने की अनुमति देता है। 4-टियर टोपोलॉजी के लिए, सवाना हडॉप क्लस्टर के नोड समूह के लिए पहचानकर्ता के रूप में गणना नोड की होस्ट आईडी का उपयोग करता है। (नोट: ध्यान रखें कि Hadoop क्लस्टर नोड समूहों और सवाना नोड समूहों को भ्रमित न करें जिनके अलग-अलग लक्ष्य हैं।)

सवाना हादोप में स्विफ्ट इनपुट धाराओं के लिए डेटा स्थानीयता भी प्रदान कर सकता है, लेकिन इसके लिए आपको एक विशिष्ट स्विफ्ट ड्राइवर को Hadoop में जोड़ने की आवश्यकता है, क्योंकि वेनिला प्लगइन देशी स्विफ्ट समर्थन के बिना Hadoop 1.2.1 का उपयोग करता है। स्विफ्ट चालक को सवाना परियोजना टीम द्वारा विकसित किया गया था और पहले से ही आंशिक रूप से Hadoop 2.4.0 में एकीकृत किया गया है। इसे 2.x रेपो में पूरी तरह से एकीकृत करने की योजना है, और फिर इसे पुराने संस्करण 1.x पर लागू करें।

स्विफ्ट में डेटा स्थानीयता का उपयोग करना, सवाना में डेटा स्थानीयता फ़ंक्शन को चालू करना और फिर कम्प्यूट टोपोलॉजी और स्विफ्ट टोपोलॉजी दोनों को निर्दिष्ट करना शामिल है। नीचे दिए गए वीडियो में दिखाया गया है कि सवाना में एक हडोप क्लस्टर को कैसे शुरू किया जाए और इस पर डेटा स्थानीयता को कॉन्फ़िगर करें:

http://youtu.be/XayHkbmjK9g

निष्कर्ष

Hadoop वर्चुअल वातावरण में डेटा संसाधित करना संभवतः बड़े डेटा के विकास का अगला चरण है। जैसे-जैसे क्लस्टर बढ़ते हैं, भस्म संसाधनों का अनुकूलन अत्यंत महत्वपूर्ण हो जाता है। डेटा स्थानीयता जैसी प्रौद्योगिकियां नेटवर्क उपयोग को काफी कम कर सकती हैं और आपको छोटे और अधिक स्थानीय समूहों का उपयोग करने के लाभों को खोए बिना बड़े वितरित समूहों के साथ काम करने की अनुमति देती हैं। यह Hadoop क्लस्टर की मापनीयता को लगभग सीमित कर देता है।

मूल लेख अंग्रेजी में ।