क्या यह अपाचे Hadoop के लिए भुगतान करने योग्य है?

2010 में, Apache Hadoop, MapReduce, और उनकी संबंधित तकनीकों ने सूचना प्रौद्योगिकी के क्षेत्र में एक नई घटना के प्रसार के लिए नेतृत्व किया, जिसे "बड़ा डेटा" या "बिग डेटा" कहा जाता है। यह समझना कि अपाचे हडोप प्लेटफॉर्म क्या है, इसकी आवश्यकता क्यों है और इसका उपयोग क्यों किया जा सकता है, धीरे-धीरे दुनिया भर के विशेषज्ञों के दिमाग में प्रवेश कर रहा है। एकल-व्यक्ति विचार के रूप में उत्पन्न हुआ और तेजी से औद्योगिक पैमाने पर बढ़ रहा है, Apache Hadoop वितरित कंप्यूटिंग के लिए सबसे व्यापक रूप से चर्चा किए गए प्लेटफार्मों में से एक बन गया है, साथ ही साथ असंरचित या शिथिल संरचित जानकारी संग्रहीत करने के लिए एक मंच भी है। इस लेख में, मैं अपाचे Hadoop प्लेटफॉर्म पर ही रहना चाहूंगा और तृतीय-पक्ष कंपनियों द्वारा प्रदान किए गए वाणिज्यिक कार्यान्वयन और Apache Hadoop के स्वतंत्र रूप से वितरित संस्करण से उनके मतभेदों पर विचार करूंगा।

वाणिज्यिक कार्यान्वयन पर विचार करना शुरू करने से पहले, मैं अपाचे हडोप मंच की उत्पत्ति और विकास के इतिहास पर ध्यान देना चाहूंगा। Apache Hadoop के पीछे निर्माता और प्रेरणा डौग कटिंग और माइकल कैफ़ेरेला हैं, जिन्होंने 2002 में Nutch अंशकालिक परियोजना के लिए एक खोज इंजन विकसित करना शुरू किया था। 2004 में, MapReduce ने कम्प्यूटिंग प्रतिमान वितरित किया, जो उस समय विकसित किया जा रहा था, यह भी Nutch परियोजना से जुड़ा था, साथ ही एक वितरित फ़ाइल प्रणाली भी थी। उसी समय, याहू इंटरनेट पर पृष्ठों को अनुक्रमित करने और खोजने के लिए एक वितरित कंप्यूटिंग प्लेटफॉर्म विकसित करने के बारे में सोच रहा था। वास्तव में, याहू के प्रतियोगियों को नींद नहीं आई और इस मुद्दे के बारे में भी सोचा - इससे यह तथ्य सामने आया है कि वर्तमान में वितरित कंप्यूटिंग के लिए काफी सारे प्लेटफॉर्म हैं, उदाहरण के लिए, Google App Engine, Appistry CloudIQ, Heroku, Pervasive DataSush इत्यादि। याहू ने ठीक ही निर्णय लिया कि अपने स्वामित्व वाले वितरित कंप्यूटिंग प्लेटफॉर्म को विकसित करना और बनाए रखना अधिक महंगा होगा और परिणाम की गुणवत्ता एक ओपन सोर्स प्लेटफॉर्म में निवेश करने से कम होगी। इसलिए, उन्होंने खुले स्रोत की परियोजनाओं के बीच उपयुक्त समाधान खोजना शुरू कर दिया, जिससे तर्क दिया गया कि समुदाय का कठोर और निष्पक्ष रूप उन्हें गुणवत्ता में सुधार करने की अनुमति देगा, और साथ ही मंच को बनाए रखने की लागत को कम करेगा, क्योंकि यह केवल याहू द्वारा विकसित नहीं किया जाएगा, लेकिन संपूर्ण मुक्त आईटी समुदाय । काफी जल्दी वे नच के पार आ गए, जो उस समय अपने पहले से ही पुष्ट परिणामों द्वारा प्रतियोगियों के खिलाफ खड़ा था और इस परियोजना के विकास में निवेश करने का फैसला किया। ऐसा करने के लिए, 2006 में, उन्होंने ई 14 नामक एक नई परियोजना के लिए एक समर्पित टीम का नेतृत्व करने के लिए डौग कटिंग को आमंत्रित किया, जिसका लक्ष्य एक वितरित कंप्यूटिंग बुनियादी ढांचे का विकास करना था। उसी वर्ष, Apache Hadoop को एक अलग ओपन सोर्स प्रोजेक्ट के रूप में जारी किया गया था।

यह कहा जा सकता है कि एक ओपन सोर्स वितरित कंप्यूटिंग प्लेटफॉर्म के विकास में निवेश करने के निर्णय से, याहू को काफी ठोस लाभ प्राप्त हुए, जिस तरह अपाचे हडोप ने एक विशाल निगम की मदद से एक विकास प्रोत्साहन प्राप्त किया। Apache Hadoop ने याहू को अंतरराष्ट्रीय स्तर पर प्रसिद्ध वैज्ञानिकों को कंपनी में लाने और एक उन्नत अनुसंधान और विकास केंद्र बनाने में मदद की, जो अब खोज, विज्ञापन, स्पैम पहचान, निजीकरण और इंटरनेट से संबंधित कई अन्य चीजों के लिए अग्रणी केंद्रों में से एक है। याहू को खरोंच से विकसित करने के लिए बहुत सी चीजें नहीं थीं, उन्होंने तीसरे पक्ष के डेवलपर्स का लाभ उठाया, उदाहरण के लिए, उन्होंने अपनी समस्याओं को हल करने के लिए अपाचे HBase और Apache Hive का उपयोग किया। चूंकि Apache Hadoop एक खुला मंच है, अब Yahoo को विशेषज्ञों को प्रशिक्षित करने की आवश्यकता नहीं है, यह श्रम बाजार में ऐसे लोगों को खोज सकता है, जिनके पास पहले से ही Hadoop के साथ अनुभव है। यदि याहू ने अपना खुद का प्लेटफॉर्म विकसित करने का फैसला किया, तो उसे कंपनी के विशेषज्ञों के साथ काम करने के लिए मजबूर किया जाएगा। Apache Hadoop कुछ हद तक एक उद्योग मानक है और इस प्लेटफ़ॉर्म का विकास कई कंपनियों और तीसरे पक्ष के डेवलपर्स द्वारा किया जाता है - इसलिए Yahoo ने इस प्लेटफ़ॉर्म के विकास में लगातार निवेश करके बहुत सारे पैसे बचाए हैं और निरंतर सॉफ़्टवेयर अप्रचलन की समस्या को समाप्त किया है। इन सभी ने याहू को 2008 में पहले से ही 4000 मशीनों के अपाचे हडोप क्लस्टर का उपयोग करके याहू वेबसर्च लॉन्च करने की अनुमति दी थी।
हालांकि, याहू में Apache Hadoop का विकास अपनी पूरी यात्रा में बादल रहित नहीं हुआ है। इसलिए, सितंबर 2009 में, डौग कटिंग ने याहू प्रबंधन के साथ एक सामान्य भाषा नहीं पाई है, जो कैलिफोर्निया स्थित स्टार्टअप क्लोडेरा के लिए छोड़ देता है, जो बड़े डेटा समाधानों के लिए अपाचे हडोप के वाणिज्यिक विकास और प्रचार में लगी हुई है। ईमानदारी से, मुझे इस बारे में कोई जानकारी नहीं है कि वास्तव में उनके विचारों से सहमत नहीं थे, लेकिन तथ्य यह है कि - डौग कटिंग के इस तरह के फैसले से नाराज, याहू ने 2011 में हॉर्टनवर्क्स नामक कंपनी बनाने के लिए पैसा दिया, जिसकी मुख्य गतिविधि व्यावसायीकरण और मंच का प्रचार भी है। अपाचे होडोप। इन कंपनियों पर इस लेख में बाद में चर्चा की जाएगी। मैं इन कंपनियों द्वारा प्रदान किए गए दो वितरित कंप्यूटिंग समाधानों की तुलना करने की कोशिश करूंगा, और मैं यह भी पता लगाने की कोशिश करूंगा कि आपको अपाचे हाडोप के लिए भुगतान क्यों करना है।

Cloudera इंक।

अक्टूबर 2008 में, अमेरिका में, Google, Facebook और Yahoo के तीन इंजीनियरों और Oracle के एक प्रबंधक ने नई कंपनी Cloudera बनाई। वे MPP आर्किटेक्चर पर आधारित वितरित कंप्यूटिंग सिस्टम पर निर्भर थे। उचित रूप से यह देखते हुए कि दुनिया में डेटा की मात्रा का विश्लेषण करने की आवश्यकता हर दिन बढ़ रही है, और इस तरह के डेटा विश्लेषण के लिए उपकरण की आवश्यकता वाली कंपनियों की संख्या लगातार बढ़ेगी, उन्होंने इस तथ्य पर भरोसा किया कि एक ऐसी कंपनी के निर्माण के साथ जो एक पर्याप्त स्तर होगा और इस क्षेत्र में योग्य, वे काफी कमाई कर पाएंगे। चूंकि उनके पास अपना उत्पाद नहीं था, और इसे विकसित करने का समय भी नहीं था, इसलिए उन्होंने कुछ ओपन सोर्स प्रोजेक्ट लेने और इसके साथ अपने व्यवसाय का निर्माण करने का फैसला किया। Apache Hadoop कई कारणों से परिपूर्ण था - वे सभी इसे जानते थे, उनके साथ काम किया और समझा कि इस परियोजना में बहुत संभावनाएं हैं - इसलिए, मार्च 2009 में, Cloudera ने Apache Hadoop सहित तथाकथित Cloudera के वितरण की घोषणा की, CDH से छोटा, जो एक वितरण है Apache Hadoop (HDFS, MapReduce, Hadoop Common), जिसमें कई संबंधित कार्यक्रम और पुस्तकालय शामिल हैं, जैसे Apache Flume, Apache Hive, Hue, Apache Mahout, Apache Oozie, Apache Pig, Apache Sqoop, Apache Whirr और Apache Zookeeper।

हालांकि, वितरण, जिसमें खुले स्रोत पुस्तकालयों और कार्यक्रमों को इकट्ठा करना शामिल है, किसी को भी बिक्री के लिए नहीं है, इसलिए यह अपाचे Hadoop के लिए अपना खुद का सॉफ्टवेयर विकसित करने का निर्णय लिया गया। Hadoop, डौग कटिंग और माइकल कैफेरेला के निर्माता कंपनी में शामिल थे। तैनाती, निगरानी और क्लस्टर प्रबंधन के लिए एक उपकरण विकसित करने का निर्णय लिया गया था Apache Hadoop - Cloudera Manager। यह उपकरण Apache Hadoop क्लस्टर परिनियोजन प्रक्रिया को स्वचालित करता है, वर्तमान गतिविधियों की वास्तविक समय की निगरानी और अलग-अलग नोड्स की स्थिति प्रदान करता है, हीटमैप संकलित करता है, कुछ घटनाओं के लिए संदेश उत्पन्न कर सकता है, उपयोगकर्ता की पहुंच को नियंत्रित करता है, क्लस्टर उपयोग के बारे में ऐतिहासिक जानकारी संग्रहीत करता है, नोड्स से लॉग एकत्रित करता है और आपको उन्हें देखने की अनुमति देता है।

इन सभी ने क्लाउडरा को तीन उत्पादों से मिलकर एक सेवा पैकेज लॉन्च करने की अनुमति दी, जिसे क्लाउडर एंटरप्राइज कहा जाता है:



जहाँ

CDH अपाचे Hadoop डिस्ट्रीब्यूशन (HDFS, MapReduce and MapReduce2, Hadoop Common) है, जिसमें कई संबंधित प्रोग्राम और लाइब्रेरी शामिल हैं जैसे Apache Flume, Apache Hive, Hue, Apache Mahout, Apache Oozie, Apache Pig, Apache Sqoop, Apache Whirr और Apache व्हिच। चिड़ियाघर संचालक।

Cloudera Manager अपाचे Hadoop क्लस्टर की तैनाती, निगरानी और प्रबंधन के लिए एक उपकरण है।

Cloudera समर्थन Cloudera की CDH और Cloudera प्रबंधक टीम द्वारा प्रदान किया गया पेशेवर समर्थन है।

यह सब एक सदस्यता के रूप में बेचा जाता है और काफी महंगा होता है - उदाहरण के लिए, Cloudera Manager की लागत $ 4000 प्रति नोड है। इसके बावजूद, कुछ कंपनियों के लिए यह समाधान उचित है, क्योंकि Apache Hadoop के पास समर्थन और प्रशासन की उच्च लागत है। विशेष रूप से, MapReduce कार्यों को लिखने के लिए आपको योग्य जावा विशेषज्ञों के कर्मचारियों की आवश्यकता होती है, जिनकी श्रम बाजार में लागत काफी अधिक है। हालांकि, सीमित संख्या में कंपनियां क्लोदेरा की सेवाओं का उपयोग करती हैं - हर कोई इसे अपने दम पर करने की कोशिश करता है। यह इस तथ्य के कारण है कि, वास्तव में, केवल क्लूडेरा का स्वयं का विकास ही क्लाउड प्रबंधक है, और यहां तक ​​कि इसके मुकाबले बहुत अधिक खर्च होता है। मेरी राय में, क्लाउडरा एंटरप्राइज पैकेज वर्तमान में पैसे के लायक नहीं है, क्योंकि अनिवार्य रूप से एकमात्र उपयोगी चीज है जो क्लौडेरा इस पैकेज के हिस्से के रूप में प्रदान करती है वह है क्लाउड मैनेजर। सब कुछ के साथ, एक पर्याप्त रूप से योग्य विशेषज्ञ, अगर समय है, तो इसे अपने दम पर समझ सकते हैं। वर्तमान में Cloudera द्वारा उपयोग किया जाने वाला मुख्य लाभ दुनिया में Apache Hadoop विशेषज्ञों की सीमित संख्या है, जो Apache Hadoop पर तकनीकी विशेषज्ञता प्रदान करने के लिए Cloudera को बाज़ार में सट्टा लगाने की अनुमति देता है।

हो सकता है कि 23 मई, 2012 को Apache Hadoop 2.0.0 अल्फ़ा संस्करण Hadoop.apache.org से डाउनलोड के लिए उपलब्ध हो गया, और 5 जून, 2012 को Cloudera ने बड़ी धूमधाम के साथ CDH के चौथे संस्करण की घोषणा की, जो अपाचे का समर्थन करने वाला दुनिया में पहला है। Hadoop 2.0.0 अल्फा कोडबेस। अधिकांश के अनुसार, अपाचे हडोप 2.0.0 अल्फा का संस्करण कच्चा और अस्थिर है, और कुछ कंपनियां स्थिरीकरण अवधि गुजरने तक इंतजार करना पसंद करती हैं, जिसके दौरान अधिकांश त्रुटियां ठीक हो जाएंगी। इसके बावजूद, Apache Hadoop 2.0.0 के पहले संस्करण पर कई फायदे हैं, जिनमें से मुख्य निम्नलिखित हैं:

1. NameNode के लिए उच्च उपलब्धता
2. YARN / MapReduce2
3. HDFS फेडरेशन

जैसा कि मैंने पहले लिखा था, अब तक के सभी काम बेहद अस्थिर हैं और उत्पादक वातावरण में स्थापित करने की अनुशंसा नहीं की जाती है। हालांकि, अग्रणी लॉरेल्स ने क्लाउडरा को शांति से सोने की अनुमति नहीं दी, जिसने उन्हें Apache Hadoop 2.0 के आधार पर CDH4 को दुनिया में पहली बार रिलीज़ करने के लिए प्रेरित किया। इस प्रकार, क्लाउडरा ने वितरित कंप्यूटिंग के लिए एक मंच प्रदान करने में अपने नेतृत्व की घोषणा की, क्योंकि किसी और के पास अपाचे हडोप 2.0 पर आधारित वितरण नहीं है। इस क्षेत्र में मुख्य प्रतियोगी क्लोदेरा - हॉर्टोनवर्क्स की पेशकश क्या है?

Hortonworks

क्लोदेरा की उपस्थिति ने कई लोगों को इस क्षेत्र में बाजार की संभावनाओं के बारे में सोचा, कई लोगों ने प्रमुख नेता बनने की कामना की, जो विकास के मुख्य वेक्टर की स्थापना करते हैं और तदनुसार, इस क्षेत्र में सबसे पूर्ण विशेषज्ञता और योग्यता रखते हैं। इसलिए, 2011 में, हॉर्टोनवर्क्स की स्थापना की गई थी, जिसके संस्थापक इंजीनियर थे, जो मुख्य रूप से याहू से थे, जो याहू और बेंचमार्क कैपिटल इनवेस्टमेंट फंड से पुराने रिश्तों के लिए आकर्षित करने में सक्षम थे। कंपनी ने क्लोडेरा के रूप में एक ही काम किया - अपाचे हडोप का व्यावसायीकरण। हाल ही में, 12 जून 2012 को, हडॉप शिखर सम्मेलन 2012 से एक दिन पहले, हॉर्टनवर्क्स ने अपने अपाचे हडोप 1.0 को कम, एचडीपी के लिए कंप्यूटिंग प्लेटफॉर्म, हॉर्टोनवर्क्स डेटा प्लेटफॉर्म वितरित करने की घोषणा की। इस मंच की वास्तुकला नीचे चित्र में प्रस्तुत की गई है:



संक्षिप्त होने के लिए, यह प्लेटफ़ॉर्म Cloudera CDH4 के समान ही सब कुछ प्रदान करता है, लेकिन केवल Apache Hadoop 1.0 कोडबेस पर आधारित है। एक छोटा सा अंतर है - एचडीपी के हिस्से के रूप में, हॉर्टोनवर्क्स अपाचे अम्बारी के आधार पर हॉर्टोन्सवर्क्स मैनेजमेंट सेंटर (एचएमसी) की आपूर्ति करता है, जो क्लोउडेरा मैनेजर के समान कार्य करता है, लेकिन पूरी तरह से स्वतंत्र है, जो एक स्पष्ट लाभ है, क्योंकि क्लाउडरा प्रबंधक अज्ञात कारणों से, इसमें बहुत पैसा खर्च होता है (यहां आपको यह स्पष्ट करने की आवश्यकता है कि क्लूडेटेड कार्यक्षमता और 50 नोड्स की सीमा के साथ क्लाउड प्रबंधक का एक निःशुल्क संस्करण है)। अपने HDP प्लेटफॉर्म के फायदों में से एक, किसी कारण से, हॉर्टनवर्क्स ने ईटीएल और ईएलटी ऐड- ऑन के रूप में बिग डेटा के लिए टैलेंड के ओपन कैलेंडर को डाउनलोड करने की क्षमता घोषित की है। मुझे यह कहना होगा कि यह समाधान पूरी तरह से ईटीएल, ईएलटी टूल और क्लूडेरा सीडीएच 4 के रूप में स्वतंत्र रूप से डाउनलोड किया जा सकता है, इसलिए यह केवल एचडीपी के लिए निहित लाभ नहीं है। मैं टैलेंड ओपन स्टूडियो से परिचित था और मैं कह सकता हूं कि ईएलटी और ईटीएल समाधान के रूप में, यह समृद्ध कार्यक्षमता और स्थिर, अनुमानित व्यवहार के साथ एक अच्छा विकल्प है।

चूंकि HDP आधार के रूप में Apache Hadoop 1.0 का उपयोग करता है, इसलिए इसमें CDH4 के कुछ फायदों का अभाव है। विशेष रूप से, यह NameNode, YARN / MapReduce2, HDFS फेडरेशन के लिए HA है। हालांकि, NameNode के लिए HA से संबंधित समस्याओं को हल करने के लिए, Hortonworks एक VMware vSphere- आधारित ऐड-ऑन स्थापित करने का सुझाव देता है जो NameNode और JobTracker के लिए वर्चुअल मशीन-स्तरीय दोष सहिष्णुता प्रदान कर सकता है। मेरी राय में, एक गैर-तुच्छ निर्णय जिसमें संदिग्ध लाभ होते हैं और अतिरिक्त लागत होती है।

Hortonworks ने अपने HDP प्लेटफॉर्म के लिए समर्थन के भुगतान प्रावधान पर अपना व्यवसाय बनाने का फैसला किया। समर्थन एक वार्षिक सदस्यता के रूप में बेचा जाता है और स्तरों में विभाजित होता है। हॉर्टोनवर्क के लिए समर्थन की गुणवत्ता के स्तर के बारे में कहना मुश्किल है, क्योंकि मुझे एक भी ग्राहक नहीं मिला है जो इस समय इसका उपयोग करेगा। Cloudera समर्थन के बारे में नकारात्मक समीक्षाएं हैं - बहुत लंबी प्रतिक्रिया अवधि, लेकिन यह लगभग किसी भी निर्माता के समर्थन के बारे में कहा जा सकता है।

अब, Apache Hadoop और संबंधित सॉफ्टवेयर को एक ओपन सोर्स प्रोजेक्ट से बदलकर दुनिया की कई कंपनियों द्वारा विकसित संपूर्ण समाधान में बदल दिया जा रहा है। यह प्रयोगशाला की दीवारों से पहले ही विकसित हो चुका है और अतिरिक्त-बड़ी मात्रा में डेटा के विश्लेषण और भंडारण के लिए एक उद्यम समाधान के रूप में अपनी प्रयोज्यता साबित करने के लिए तैयार है। आज तक, हॉर्टनवर्क्स पकड़ रहा है, जबकि क्लूडेरा स्पष्ट रूप से अपने सीडीएच 4 प्लेटफॉर्म के साथ अग्रणी है। वास्तव में, इस समय, कई कंपनियों ने इस बाजार की संभावनाओं का मूल्यांकन किया है और अपने समाधान के साथ इसमें एक पायदान हासिल करने की कोशिश कर रहे हैं जिसमें अपाचे हैडॉप पर आधारित कार्यक्षमता या इसके साथ काम करने की क्षमता है। ये सभी दोनों नेताओं से काफी पीछे हैं। इसका मतलब यह है कि आज ऐसी स्थिति है कि सभी आवश्यक पुस्तकालयों और कार्यक्रमों सहित सबसे पूर्ण और कामकाजी वितरण, बाजार पर दो कंपनियों के स्वामित्व में हैं - ये सीडीपी 3 और सीडीएच 4 और एचडीपी के साथ हॉर्टनवर्क्स के साथ क्लाउड हैं। यह इन समाधानों को उन कंपनियों में विश्लेषण के लिए उद्यम उपकरण के रूप में जीवन का अधिकार है जहां इसकी आवश्यकता है। फिर भी, वर्तमान समय में, जब बाजार में बहुत कम विशेषज्ञ होते हैं, तो अपाचे हडोप को तैनात करना और इसे स्वयं स्थापित करना अनिश्चित परिणाम के साथ एक लंबी अवधि की प्रक्रिया है, अर्थात्। हम कह सकते हैं कि यह ओपनर द्वारा प्रदान किए गए तरीकों में से एक या किसी अन्य विधि के साथ प्रयोग करने वाले के परीक्षण और त्रुटि का एक लंबा तरीका है। CDH4 और HDP के मामले में, इसका मतलब है कि उन समाधानों के साथ काम करना जो पहले ही अपनी योग्यता साबित कर चुके हैं और आवश्यक होने पर समर्थन प्रदान करते हैं। इसलिए, अपाचे हडोप के लिए भुगतान करने या भुगतान करने का सवाल इसके लायक नहीं है - यदि आप इसे प्रयोगात्मक उद्देश्यों के लिए उपयोग करने की योजना बनाते हैं या कंपनी अपने स्वयं के विशेषज्ञों को प्रशिक्षित करने में समय और पैसा लगाने के लिए तैयार है, तो, निश्चित रूप से, इसके लिए भुगतान करने के लायक नहीं है। हालांकि, यदि अपाचे हडोप को एक उद्यम समाधान के रूप में उपयोग किया जाएगा, तो विभिन्न समस्याओं के समाधान पर संचित ज्ञान आधार के साथ समर्थन करना और काम के सिद्धांतों की गहरी समझ होना बेहतर है।

विभिन्न कंपनियों के निर्णय जो एक या दूसरे तरीके से Hadoop का व्यवसायीकरण करते हैं
Cloudera इंक वेबसाइट
Hortonworks वेबसाइट
रचनाकार से अपाचे Hadoop का एक संक्षिप्त इतिहास