🐹 🌦️ 🌁 क्लाउड से मांग पर Hadoop क्लस्टर्स: आंतरिक डिवाइस, पहले चरण, कार्य, हाइव 👩‍🌾 🛑 🕺

कुछ समय पहले, स्ट्रेटा + हडोप विश्व सम्मेलन के दौरान, विंडोज एज़्योर एचडीआईनाइट के व्यावसायीकरण की शुरुआत की घोषणा की गई थी - अपाचे हडोप के साथ संगत एक क्लाउड सेवा 100%। सेवा की उपस्थिति के इतिहास और इसकी क्षमताओं के बारे में विवरण इस लेख में हैबे पर पाया जा सकता है। स्ट्रैटा + हडोप विश्व सम्मेलन की घोषणा एक और हालिया लेख में मिल सकती है।

यह लेख एचडीआईनाइट क्लस्टर्स की आंतरिक संरचना, उनके साथ काम करने की शुरुआत और हाइव के लिए पहले कार्यों और अनुरोधों के बारे में बात करेगा। लेख के अंत में बड़े अंतरराष्ट्रीय संगठनों द्वारा विंडोज अज़ूर एचडीआईनाइट के उपयोग के वास्तविक उदाहरण हैं।

Windows Azure HDInsight अपने उपयोगकर्ताओं के लिए निम्नलिखित लाभ प्रदान करता है:

परिचित उपकरणों के साथ बड़े डेटा के साथ काम करें : Microsoft व्यवसाय खुफिया उपकरण जैसे कि PowerPivot, Power View, और Excel के साथ गहन एकीकरण के माध्यम से, HDIightight आपको Hadoop सुविधाओं का उपयोग करके आसानी से अपने डेटा का विश्लेषण करने की अनुमति देता है। विभिन्न प्रकार के डेटा स्रोतों से डेटा को पारदर्शी रूप से मिलाएं, जिसमें पावर क्वेरी के साथ एचडीआईनाइट भी शामिल है। पावर मैप के साथ भौगोलिक डेटा का आसानी से विश्लेषण और कल्पना करना, एक्सेल 2013 में नया 3 डी मैपिंग टूल;
लचीलापन - HDIightight आपके संगठन की बदलती जरूरतों को पूरा करने के लिए लचीलापन प्रदान करता है। PowerShell स्क्रिप्ट के एक समृद्ध सेट के साथ, आप सामान्य घंटों या दिनों के बजाय मिनटों में एक Hadoop क्लस्टर को होस्ट और प्रबंधित कर सकते हैं। यदि आपको एक बड़े क्लस्टर की आवश्यकता है, तो बस मौजूदा को हटा दें और बिना किसी डेटा को खोए कुछ ही मिनटों में सही आकार का एक नया बनाएं;
एंटरप्राइज-ग्रेड Hadoop : HDInsight एंटरप्राइज- क्लास सुरक्षा और प्रबंधन क्षमता प्रदान करता है । एक समर्पित सुरक्षित नोड होस्ट के साथ, HDIightight आपके Hadoop क्लस्टर को सुरक्षित करने में मदद करता है। इसके अलावा, हमने PowerShell स्क्रिप्ट के प्रभावशाली सेट के साथ आपके Hadoop क्लस्टर के प्रबंधन को सरल बनाया है;
डेवलपर्स के लिए समृद्ध अवसर : HDInsight सेवा, .NET, Java और अन्य सहित भाषाओं की एक विस्तृत पसंद के साथ अनुप्रयोगों के विकास के लिए शक्तिशाली अवसर प्रदान करती है। .NET डेवलपर Hive प्रश्नों के लिए LINQ की शक्ति का लाभ उठा सकते हैं।

विंडोज एज़्योर एचडीआईनाइट के बारे में

Windows Azure HDInsight 'एक सेवा के रूप में Windows Azure प्लेटफ़ॉर्म पर उपलब्ध 100% संगत Apache Hadoop वितरण है। Microsoft ने अपने स्वयं के वितरण के निर्माण के बजाय, अपाचे Hadoop को विंडोज प्लेटफॉर्म पर पोर्ट करने के लिए हॉर्टनवर्क्स के साथ साझेदारी को चुना। हडसोप पारिस्थितिकी तंत्र से संबंधित विभिन्न अपाचे परियोजनाओं में माइकसॉफ्ट ने 6,000 मानव घंटे और 25,000 से अधिक लाइनों की कोड में निवेश किया है।

Microsoft के सबसे उल्लेखनीय योगदानों में से एक Windows Azure Storage-Blob (WASB) का विकास है, जो एक पतली परत है जो आपके Windows Azure HDInsight क्लस्टर के लिए HDFS फ़ाइल सिस्टम के रूप में Windows Azure स्टोरेज ब्लो ब्लॉक्स का प्रतिनिधित्व करता है। Microsoft हाइव स्टिंगर प्रोजेक्ट में भी सक्रिय रूप से शामिल और निवेश कर रहा है और विंडोज प्लेटफॉर्म पर बेहतर सुरक्षा एकीकरण प्राप्त करने के लिए काम कर रहा है।

एक सेवा के रूप में अनुरोध पर प्राप्त क्लाउड में क्लस्टर आर्किटेक्चर, निम्नलिखित चित्र में प्रस्तुत किया गया है:

निम्नलिखित तत्व चित्र में दिखाए गए हैं:

सिक्योर रोल या गेटवे नोड एक रिवर्स प्रॉक्सी है, जो आपके Hadoop क्लस्टर के गेटवे के रूप में कार्य करता है। सिक्योर रोल ऑथेंटिकेशन और ऑथराइजेशन कार्यों के लिए जिम्मेदार है और वेबहॉट, अंबारी, हाइवसर्वर, हाइवसर्वर 2 और ओजी को पोर्ट 433 के लिए एंडपॉइंट प्रदान करता है। क्लस्टर से कनेक्ट करने के लिए आप क्लस्टर बनाते समय निर्दिष्ट अपनी साख का उपयोग करते हैं;

हेड नोड एक नोड है जिसे एक अतिरिक्त बड़ी वर्चुअल मशीन (8 कोर, 14 जीबी रैम) द्वारा दर्शाया जाता है। HDInsight में हेड नोड एक महत्वपूर्ण भूमिका निभाता है, जो Hadoop क्लस्टर के प्रमुख कार्यों को ले रहा है: NameNode, द्वितीयक NameNode और JobTracker। हेड नोड में निम्नलिखित परिचालन सेवाएं और डेटा सेवाएं शामिल हैं और करती हैं:

HiveServer और HiveServer2
सूअर
Sqoop
Metastore
Derbyserver
Oozie
टेंपलटन
Ambari

वर्कर नोड्स बड़े स्तर की वर्चुअल मशीनों (4 कोर, 7 जीबी रैम) द्वारा दर्शाए गए नोड हैं। वर्कर रोल्स उन सेवाओं को लॉन्च करने के लिए जिम्मेदार हैं जो कार्य निर्धारण, कार्य निष्पादन और डेटा एक्सेस का समर्थन करती हैं:

TaskTracker
DataNode
सूअर
हाइव क्लाइंट

Windows Azure Storage-BLOB (WASB) - आपके Windows Azure HDInsight क्लस्टर में डिफ़ॉल्ट फ़ाइल सिस्टम को Windows Azure Blob Storage के रूप में दर्शाया गया है। Microsoft ने ब्लॉग संग्रहण के ऊपर एक पतली परत लागू की, जो HDFS फ़ाइल सिस्टम के रूप में भंडारण का प्रतिनिधित्व करता है, जिसे हम Windows Azure Storage-Blob या WASB कहते हैं।

बड़ी खबर यह है कि आप बूँद भंडारण परीक्षण एपीआई या कई लोकप्रिय उपयोगिताओं के माध्यम से डीएफएस कमांड का उपयोग करके डब्ल्यूएएसबी के साथ बातचीत कर सकते हैं ।

डब्लूएएसबी की एक और उल्लेखनीय संपत्ति यह है कि इसमें जो भी डेटा आप स्टोर करते हैं वह एचडीआईनाइट क्लस्टर के लिए उपलब्ध होगा, और इसके हटाने के बाद भी बरकरार रहेगा। यदि आप एक क्लस्टर हटाना चाहते हैं और फिर एक नया बनाना चाहते हैं, तो आप बस नए क्लस्टर को पुराना डेटा बता सकते हैं और उसका उपयोग कर सकते हैं।

WASB में डेटा संग्रहीत करना सस्ता है, क्योंकि जब उनके साथ काम करते हैं तो आउटगोइंग ट्रैफ़िक के लिए भुगतान करने की आवश्यकता नहीं होती है या वर्चुअल मशीनों के अंदर स्थानीय HDFS स्टोरेज के साथ काम करते समय आवश्यक कंप्यूटिंग शक्ति।

अंत में, WASB में डेटा संग्रहीत करने से आप इसे अन्य क्लाउड सेवाओं या अपने क्लस्टर के बाहर चल रहे एप्लिकेशन के साथ साझा कर सकेंगे। रिवर्स भी सच है: अन्य सेवाओं से विंडोज एज़्योर स्टोरेज में संग्रहीत डेटा को आसानी से एचडीआईनाइट क्लस्टर में प्राप्त किया जा सकता है।

डब्ल्यूएएसबी का उपयोग करने के लाभों पर विवरण निम्नलिखित लिंक पर पाया जा सकता है।

स्थानीय HDFS - HDInsight क्लस्टर में WASB के अलावा, स्थानीय HDFS स्टोरेज भी आपके लिए उपलब्ध है, हालाँकि, इसका उपयोग प्रोत्साहित नहीं किया जाता है, क्योंकि यह अधिक महंगा है (इसके साथ काम करना क्लस्टर के संचालन के बराबर है) और स्थानीय HDFS में संग्रहीत सभी चीजें क्लस्टर के साथ हटा दी जाएंगी। आप इसे मना करते हैं।

HDInsight में उपलब्ध अनुप्रयोग संस्करण । आज, HDInsight सेवा में Hadoop क्लस्टर के अंदर, एप्लिकेशन और सेवाओं के निम्नलिखित संस्करण आपके अनुरोध पर उपलब्ध हैं:

अंग	संस्करण
अपाचे हडॉप था	1.2.0
अपाचे हाइव	0.11.0
अपाचे सुअर	0.11
अपाचे सकोप	1.4.3
अपाचे ऊजी	3.2.2
अपाचे HCatalog	छत्ता के साथ विलय
अपाचे टेम्पलटन	0.1.4
SQL सर्वर JDBC ड्राइवर	3.0
Ambari	एपीआई v1.0

आप हमेशा निम्न लिंक पर HDInsight क्लस्टर घटकों के लिए नवीनतम संस्करण जानकारी प्राप्त कर सकते हैं।

एचडीआईनाइट के साथ शुरुआत करना

डेटा सेवाओं मेनू से HDInsight का चयन करके Windows Azure प्रबंधन पोर्टल से एक HDIightight क्लस्टर बनाया जा सकता है। क्लस्टर बनाने के लिए आपको क्लस्टर तक पहुँचने के लिए नाम, क्लस्टर आकार और डेटा नोड्स (डेटा नोड्स) की संख्या, पासवर्ड निर्दिष्ट करने की आवश्यकता होती है।

क्लस्टर में कम से कम एक संबद्ध Windows Azure संग्रहण होना चाहिए, जो इस क्लस्टर के लिए स्थायी संग्रहण स्थान होगा, जबकि क्लस्टर और संग्रहण उसी क्षेत्र में स्थित होना चाहिए। आप कस्टम क्लस्टर निर्माण विकल्प का उपयोग करके क्लस्टर के लिए अतिरिक्त संग्रहण जोड़ सकते हैं।

क्लाउड में क्लस्टर को तैनात और कॉन्फ़िगर करने में केवल कुछ मिनट लगते हैं। एक बार जब यह तैनात हो जाता है, तो आप स्वागत पृष्ठ पर जा सकते हैं, जो उपयोगी संसाधनों और नमूना कोड के अतिरिक्त लिंक प्रदान करता है जिसे आप लाडो के साथ काम करने का अभ्यास कर सकते हैं।

डैशबोर्ड टैब पर जाकर, आप अपने क्लस्टर की वर्तमान स्थिति के बारे में जानकारी देखेंगे, जिसमें विभिन्न प्रकार के मेट्रिक्स: नोड खपत, कार्य इतिहास और संबद्ध डेटा स्टोर शामिल हैं।

अपने क्लस्टर के लिए पहला नक्शा / कार्य कम करना

एक क्लस्टर में अपना पहला कार्य शुरू करने से पहले, आपको PowerShell cmdlets का उपयोग करने के लिए अपना वातावरण तैयार करने की आवश्यकता है। इन cmdlets का उपयोग करने के लिए, आपको Windows Azure Powershell और HDInsight PowerShell को स्थापित करना होगा। ऐसा करने के लिए, बस Windows Azure क्लस्टर नियंत्रण कक्ष में आपके स्वागत पृष्ठ के "चरण 1" में दिए गए लिंक का अनुसरण करें।

स्वागत पृष्ठ पर, आप हाइव और MapReduce दोनों कार्यों के साथ काम करने के लिए आदेशों के उदाहरण पा सकते हैं। हम MapReduce के साथ काम करना शुरू कर देंगे।

नौकरी की परिभाषाएँ बनाने के लिए निम्न आदेशों का उपयोग करके उदाहरण चलाएँ। टास्क डेफिनेशन में किसी कार्य के लिए आवश्यक सभी जानकारी शामिल होती है, उदाहरण के लिए, कौन सा मैपर्स या रिड्यूसर उपयोग करना है, कौन सा डेटा इनपुट के रूप में उपयोग करना है, और आउटपुट कहां रखना है। नमूना कोड में, हम MapReduce प्रोग्राम और एक परीक्षण फ़ाइल का उपयोग करते हैं जो पहले से ही क्लस्टर में निहित है। हम आउटपुट को बचाने के लिए एक निर्देशिका भी बनाएंगे।

$ jarFile = "/example/jars/hadoop-examples.jar"

$ className = "wordcount"

$ statusDirectory = "/ नमूने / वर्डकाउंट / स्थिति"

$ outputDirectory = "/ नमूने / वर्डकाउंट / आउटपुट"

$ inputDirectory = "/ example / data / gutenberg"

$ wordCount = नया - AzureHDInsightMapReduceJobDefinition - JarFile $ jarFile - ClassName

$ className - तर्क $ inputDirectory , $ outputDirectory - StatusFolder $ statusDirectory

Windows Azure की अपनी सदस्यता के बारे में जानकारी प्राप्त करने और MapReduce को चलाने के लिए निम्न आदेश चलाएँ। MapReduce के कार्य आमतौर पर लंबे समय तक चलते हैं, यहाँ हम एक उदाहरण का उपयोग करके दिखाते हैं कि किसी कार्य को शुरू करने के लिए अतुल्यकालिक कमांड का उपयोग कैसे करें

$ SubsId = ( Get - AzureSubscription - करंट ) । SubscriptionId

$ wordCountJob = $ wordCount | प्रारंभ - AzureHDInsightJob - क्लस्टर HadoopIsAwesome -

सदस्यता $ SubsId | प्रतीक्षा करें - AzureHDInsightJob - सदस्यता $ SubsId

अंत में, कार्य के सभी परिणामों को प्राप्त करने और प्रदर्शित करने के लिए निम्न कमांड चलाएँ।

Get - AzureHDInsightJobOutput - सदस्यता ( प्राप्त करें - AzureSubscription - वर्तमान ) । SubscriptionId
- क्लस्टर bc - newhdstorage - जॉबडीड $ वर्डकाउंटजॉब । JobId –StandardError

आपको इस कमांड का परिणाम और टर्मिनल में कार्य के बारे में जानकारी का आउटपुट दिखाई देगा, जैसा कि नीचे दिखाया गया है।

टास्क का आउटपुट आपकी रिपॉजिटरी में निर्देशिका "/ नमूने / वर्डकाउंट / आउटपुट " में रखा गया था। विंडोज एज़्योर पोर्टल में रिपॉजिटरी व्यूअर खोलें और इसे डाउनलोड करने और सामग्री की जांच करने के लिए इस फाइल पर जाएं।

पहला हाइव कार्य बनाना

प्रारंभ पृष्ठ पर एक क्लस्टर से कनेक्ट करने और हाइव कार्यों को लॉन्च करने के लिए कमांड के उदाहरण हैं। उदाहरण के लिए जॉब टाइप स्विच में Hive बटन पर क्लिक करें।

अपने क्लस्टर से कनेक्ट करने के लिए निम्न कमांड चलाएँ।

का प्रयोग करें - AzureHDInsightCluster HadoopIsAwesome ( प्राप्त करें - AzureSubscription - वर्तमान ) । SubscriptionID

फिर क्लस्टर पर HiveQL क्वेरी शुरू करने के लिए निम्न आदेश चलाएँ। यह क्वेरी परीक्षण पैटर्न का उपयोग करता है जो पहले से ही क्लस्टर में बनाए जाने पर बनाया जाता है।

आह्वान करें - Hive "देश, राज्य, गणना (*) को देश के अनुसार hivesampletable group से रिकॉर्ड के रूप में, राज्य आदेश रिकॉर्ड desc 5 से सीमित करें"

यह क्वेरी चुनिंदा और समूह के साथ एक साधारण क्वेरी का उदाहरण है, जिसके निष्पादन के बाद आपको PowerShell विंडो में परिणाम दिखाई देंगे:

Windows Azure HDInsight के बारे में अधिक जानें

इस लेख में, हमने जांच की कि यह कार्य कितना सरल है - एचडीआईनाइट क्लस्टर बनाने और लॉन्च करने और अपने डेटा का विश्लेषण करना शुरू करने के लिए। लेकिन HDInsight काफी अधिक सुविधाएँ प्रदान करता है जिन्हें आप खोज सकते हैं, जैसे कि अपने खुद के डेटासेट लोड करना, जटिल, परिष्कृत कार्य और परिणामों का विश्लेषण करना। एचडीआईनाइट के साथ काम करने के तरीके के बारे में अधिक जानने के लिए, प्रलेखन पृष्ठ पर जाएं या लेखों के लिए सीधे लिंक का उपयोग करें:

रूसी में लेख AzureHub.ru पोर्टल पर उपलब्ध हैं:

Windows Azure HDInsight के मूल्य निर्धारण की जानकारी के लिए, इस पृष्ठ पर जाएं।

लेख ने आंशिक रूप से जानकारी का उपयोग किया है
आधिकारिक ब्लॉग का यह लेख ।

विंडोज एज़्योर एचडीआईनाइट केस स्टडीज़

इस तथ्य के बावजूद कि हाल ही में सेवा की वाणिज्यिक उपलब्धता की घोषणा की गई थी, बड़ी संख्या में कंपनियों और संगठनों ने पहले ही पूर्वावलोकन चरण में सेवा की कोशिश की है। उनमें से, निम्नलिखित उदाहरणों को अलग से एकल किया जा सकता है:

बार्सिलोना शहर ने माइक्रोसॉफ्ट के व्यापार खुफिया और बड़े डेटा प्रोसेसिंग टूल को चुना है, जिसमें विंडोज एज़्योर एचडीआईनाइट भी शामिल है। घोषणा और उदाहरण का विस्तृत विवरण ;

वर्जीनिया पॉलिटेक्निक संस्थान जीनोम डेटा को संसाधित करने के लिए एचडीआईनाइट का उपयोग करता है। उदाहरण का विस्तृत विवरण ;

डेनिश अनुसंधान संगठन Chr। हैनसेन, खाद्य, दवा और कृषि उद्योगों के लिए प्राकृतिक सामग्री के एक डेवलपर, अपने पिछले तरीके की तुलना में डेटा प्रोसेसिंग की गति को 100 गुना बढ़ाने के लिए विंडोज एज़्योर एचडीआईनाइट का उपयोग करता है। उदाहरण का विस्तृत विवरण ।

343 इंडस्ट्रीज , हेलो 4 गेम डेवलपर, ऑनलाइन सेवाओं को और भी बेहतर बनाने के लिए गेमों की हेलो श्रृंखला की 50 मिलियन से अधिक बिकने वाली प्रतियों के डेटा के आधार पर विश्लेषणात्मक अनुसंधान करने के लिए विंडोज एज़्योर एचडीआईनाइट का उपयोग करता है। उदाहरण का विस्तृत विवरण ।

Ascribe Ltd, एक यूके-आधारित स्वास्थ्य सेवा कंपनी, नैदानिक अनुसंधान की गुणवत्ता में सुधार के लिए Windows Azure HDInsight का उपयोग कर रही है, जो शोधकर्ताओं को बड़ी संख्या में स्रोतों से बड़ी मात्रा में डेटा संसाधित करने के लिए बहुत तेज़ तरीका प्रदान करती है। उदाहरण का विस्तृत विवरण ।

उपयोगी लिंक

नीचे आपको उन संसाधनों के लिंक मिलेंगे जो आपको Microsoft क्लाउड प्लेटफ़ॉर्म का उपयोग करने में मदद करेंगे:

नि: शुल्क 30-दिन विंडोज एज़्योर का परीक्षण ;
स्टार्टअप्स , पार्टनर्स , टीचर्स, MSDN सबस्क्राइबर्स के लिए Windows Azure रिसोर्स की मुफ्त पहुँच
विंडोज एज़्योर डेवलपमेंट सेंटर (azurehub.ru) - स्क्रिप्ट, गाइड, उदाहरण, विंडोज एज़्योर पर सेवाओं और विकास को चुनने के लिए सिफारिशें;
नवीनतम Windows Azure समाचार - Twitter.com/windowsazure

और अगर आप पहले से ही विंडोज एज़्योर पर विकसित कर रहे हैं या अपनी सेवा के डेवलपर्स को ढूंढना चाहते हैं, तो ऐपप्रॉफेशनलेक्रू सेवा पर जाएं।

हमें azurerus@microsoft.com पर आपके सवालों के जवाब देने में खुशी होगी। और फेसबुक पर विंडोज एज़्योर कम्युनिटी में आपको देखने के लिए उत्सुक हैं। यहां आपको विशेषज्ञ मिलेंगे (उनसे सवाल पूछना न भूलें), तस्वीरें और बहुत सारी खबरें।

क्लाउड से मांग पर Hadoop क्लस्टर्स: आंतरिक डिवाइस, पहले चरण, कार्य, हाइव