Windows Azure और Hadoop: एंटरप्राइज के लिए मैत्री तैयार

पिछले आधे महीने में बिग डेटा , क्लाउड कम्प्यूटिंग और उनके सहजीवन के विमान में 3 आईटी इवेंट पड़े हैं। एक अजीब संयोग से, लिंक्डइन और फेसबुक पर दोनों पेशेवर समुदाय और कुछ पेशेवर नेटवर्किंग समुदायों के ध्यान के बिना इन घटनाओं को छोड़ दिया गया था।

विचाराधीन घटनाएं स्ट्रेटा + हडोप वर्ल्ड कॉन्फ्रेंस, हडोप 2.2.0 के स्थिर संस्करण की रिलीज और विंडोज एज़्योर एचडीआईनाइट नाइट सेवा हैं। इन घटनाओं के अप्रत्यक्ष और प्रत्यक्ष संबंध पर नीचे चर्चा की जाएगी।




पहली घटना स्ट्रेटा + हडोप विश्व सम्मेलन है , जो 28.10 से 30.10 तक आयोजित किया गया था। स्पीकर्स डेटा साइंस और हडोप प्लेटफॉर्म के बारे में बात करते हैं, पायथन और आर। क्लाउडरा, हॉर्टनवर्क्स, मैपआर, एसएपी, आईबीएम, इंटेल, वीएमवेयर, माइक्रोसॉफ्ट का उपयोग करते हैं।

उत्तरार्द्ध (Microsoft) की दृष्टि को 3 रिपोर्टों ( 1 , 2 , 3 ) द्वारा प्रस्तुत किया गया था। उसी समय, Windows Azure में "Hadoop एक सेवा के रूप में" सेवा प्रदान करने वाली सेवा का संक्रमण, Windows Azure HDInsight से स्थिर संस्करण (आम तौर पर उपलब्ध, GA) की घोषणा की गई थी ।

उम्मीद के मुताबिक HDInsight GA में, CTP संस्करण की तुलना में कोई नई सुविधाएँ नहीं हैं। इससे भी महत्वपूर्ण बात यह है कि Microsoft सुसंगत है (यह अक्सर विकास प्लेटफार्मों के साथ होता है), और CTP संस्करण में डेवलपर्स के लिए उपलब्ध सब कुछ अंतिम रिलीज में रहा। HDInsight का उपयोग करने की "सुविधाओं" में यह है कि यह क्लाउड सेवा (उपयोग के लिए भुगतान), Microsoft BI टूल के साथ एकीकरण और जावास्क्रिप्ट और C # (.NET) में नौकरियां लिखने की क्षमता है।

सेवा के सबसे महत्वपूर्ण रणनीतिक लाभों में से एक, मेरी राय में, यह है कि HDInsight GA, पहले के संस्करणों की तरह, 100% हैडोप-संगत समाधान प्रदान करता है।

यह महत्वपूर्ण है क्योंकि यह स्पष्ट हो जाता है कि Microsoft एक सदस्यता सेवा प्रदान करेगा जिससे आप नाटकीय रूप से कोड को फिर से लिखने के बिना "छोड़" सकते हैं। स्टार्टअप्स और छोटी रिसर्च टीमों के लिए यह रणनीतिक रूप से महत्वपूर्ण अवसर है।

इस प्रकार, हाइव / पिग / जावा कोड जो ऑन-डिमांड (विंडोज एज़्योर) में नौकरियों के लिए लिखा गया था, को ऑन-प्रिमाइसेस हडोप क्लस्टर पर संशोधन के बिना चलाया जा सकता है।

Hadoop प्लेटफ़ॉर्म के लिए, Apache Hadoop 2.x का एक स्थिर संस्करण 15 अक्टूबर को घोषित किया गया था। Apache Hadoop 2.2.0 का नवाचार मैंने पहले लिखा था ; मैं केवल यही दोहराता हूं कि रिलीज की सबसे प्रत्याशित विशेषता यार्न फ्रेमवर्क है।

इसके अलावा Hadoop 2.2.0 में घोषित परिवर्तनों के बीच विंडोज पर Hadoop को चलाने के लिए समर्थन था। मैंने हॉर्टनवर्क्स इंजीनियरों पर एक मोमबत्ती नहीं रखी थी, लेकिन मुझे लगता है कि विंडोज सर्वर के साथ एकीकरण, हॉर्टनवर्क्स इंजीनियरों के प्रयासों का परिणाम है, जिनके लिए Microsoft निकटता से काम करता है।

लेकिन हॉर्टोनवर्क्स में विंडोज के लिए HDP में Apache Hadoop 1.2 अभी भी शामिल है, जो (यदि मैं गलत हूं तो Hadoop समुदाय को मुझे सही करने दें) YARN कंप्यूटिंग ढांचे का समर्थन नहीं करता है ।

ऊपर चर्चा की गई स्थिर Hadoop 2 की रिलीज़ को ध्यान में रखते हुए, YARN फ्रेमवर्क के लिए समर्थन की कमी विंडोज Azure HDInsight की एक बड़ी सीमा है। HDInsight सेवा की एक और सीमा अधिकतम उपलब्ध क्लस्टर आकार - 32 नोड्स है ।



हालांकि, निष्पक्षता में, यह ध्यान देने योग्य है कि Hadoop का स्थिर संस्करण 2 सप्ताह पहले जारी किया गया था, Hortonworks पहले से ही Windows के लिए HDP (HDP 2 के लिए HDP) में नवीनतम Hadoop वितरण के लिए समर्थन पर काम कर रहा है, और नोड्स की संख्या की सीमा का अनुरोध करके हल होने की संभावना है। विंडोज एज़्योर

Hadoop 2.x की सीमाएं अभी तक समुदाय द्वारा नहीं समझी गई हैं। मैं ध्यान देता हूं कि संस्करण 2 में अधिकांश फीचर केवल संस्करण 1 की सीमाओं के लिए एक समाधान है । मैं YARN कंप्यूटिंग ढांचे को उजागर करूंगा, जिसने न केवल हमें विशेष रूप से मानचित्र / कम प्रोग्रामिंग मॉडल के साथ मजबूत कनेक्टिविटी से छुटकारा पाने की अनुमति दी है , बल्कि एक पूरे के रूप में Hadoop प्लेटफॉर्म के विकास में एक गुणात्मक छलांग है ।



बिग डेटा के क्षेत्र में Google के काम को देखते हुए, मैं प्लेटफ़ॉर्म की संभावित सीमाओं - भू-वितरण (दोनों प्रतिकृति और निष्पादन) के लिए समर्थन की कमी को जोड़ता हूं। समुदाय के साथ काम करने के नुकसान (मुख्य रूप से अकादमिक) पीडीएफ-पेपर की कमी है, जो Google और Microsoft अनुसंधान इकाइयों, बर्कले यूसी शोधकर्ताओं द्वारा उत्पादित के समान है, जो एक विशेष कंप्यूटिंग प्रणाली के डिजाइन में उपयोग किए गए सिद्धांतों और वास्तुशिल्प दृष्टिकोण का वर्णन करते हैं ( एक प्रसिद्ध उदाहरण: MapReduce: बड़े क्लस्टर पर सरल डेटा प्रोसेसिंग )।

एक निष्कर्ष के बजाय। कैसे करें कोशिश?

Hadoop 2.0

क्लोउडर: अपाचे हडोप 2.x वितरण (हडोप पारिस्थितिकी तंत्र के अतिरिक्त घटक) - सीडीएच 5 बीटा ।
हॉर्टनवर्क्स: अपाचे हडोप 2.x वितरण ( हडोप इकोसिस्टम के अतिरिक्त घटक) - हॉर्टनवर्क्स डेटा प्लेटफ़ॉर्म 2.0 ।

विंडो अज़ूर एचडीआईनाइट

क्लाउड सेवा: Windows Azure पर सेवा के रूप में Hadoop - Windows Azure HDInsight ।
स्थानीय रूप से: Windows Azure Emulator HDInsight - Windows Azure के लिए HDIightight Emulator (वेब ​​प्लेटफ़ॉर्म इंस्टॉलर के माध्यम से इंस्टॉल करें)।