👉🏼 💇🏼 🍘 Hadoop भाग 1: क्लस्टर परिनियोजन ⛓️ 🗃️ 🍜

डेटा की निरंतर वृद्धि और इसकी पीढ़ी की गति में वृद्धि से उनके प्रसंस्करण और भंडारण की समस्या पैदा होती है। आश्चर्य की बात नहीं है, "बिग डेटा" (बिग डेटा) का विषय आधुनिक आईटी समुदाय में सबसे अधिक चर्चा में से एक है।

विशेष पत्रिकाओं और वेबसाइटों में "बड़े डेटा" के सिद्धांत पर सामग्री आज काफी प्रकाशित हुई। लेकिन यह सैद्धांतिक प्रकाशनों से हमेशा स्पष्ट है कि विशिष्ट व्यावहारिक समस्याओं को हल करने के लिए उपयुक्त तकनीकों का उपयोग कैसे किया जा सकता है।

वितरित कंप्यूटिंग के क्षेत्र में सबसे प्रसिद्ध और चर्चित परियोजनाओं में से एक हैडोअप - उपयोगिताओं, पुस्तकालयों का एक स्वतंत्र रूप से वितरित सेट, और अपाचे सॉफ्टवेयर फाउंडेशन द्वारा विकसित वितरित कंप्यूटिंग कार्यक्रमों को विकसित करने और चलाने के लिए एक रूपरेखा है।

हम अपनी व्यावहारिक समस्याओं को हल करने के लिए लंबे समय से Hadoop का उपयोग कर रहे हैं। इस क्षेत्र में हमारे काम के परिणाम आम जनता को उनके बारे में बताने के लायक हैं। यह लेख Hadoop के बारे में एक श्रृंखला में पहला है। आज हम Hadoop प्रोजेक्ट के इतिहास और संरचना के बारे में बताएंगे, और Hadoop Cloudera वितरण का उदाहरण भी दिखाते हैं कि क्लस्टर कैसे तैनात और कॉन्फ़िगर किया गया है।

सावधानी, कट के नीचे बहुत अधिक ट्रैफ़िक है।

थोड़ा इतिहास

हाडोप का लेखक डग कटिंग है, जो प्रसिद्ध अपाचे ल्यूसीन पाठ खोज पुस्तकालय का निर्माता है। परियोजना का नाम वह नाम है जो डौग का बेटा अपने आलीशान पीले हाथी के लिए आया था।

कटिंग ने एक ओपन सोर्स वेब सर्च इंजन, Nutch प्रोजेक्ट पर काम करते हुए Hadoop का निर्माण किया। नच परियोजना 2002 में शुरू की गई थी, लेकिन बहुत जल्द ही इसके डेवलपर्स ने महसूस किया कि मौजूदा वास्तुकला को शायद ही अरबों वेब पेजों पर बढ़ाया जा सकता है। 2003 में, Google परियोजनाओं में उपयोग की जाने वाली वितरित फ़ाइल प्रणाली GFS (Google फ़ाइल सिस्टम) का वर्णन करते हुए एक लेख प्रकाशित किया गया था। इस तरह की प्रणाली साइटों को क्रॉलिंग और अनुक्रमण द्वारा उत्पन्न बड़ी फ़ाइलों को संग्रहीत करने के कार्य के साथ अच्छी तरह से सामना कर सकती है। 2004 में, Nutch डेवलपमेंट टीम ने इस तरह के ओपन सोर्स सिस्टम, NDFS (Nutch Distributed File System) को लागू करने के बारे में बताया।

2004 में, Google ने विस्तृत दर्शकों के लिए MapReduce तकनीक पेश की। 2005 की शुरुआत में, Nutch डेवलपर्स ने Nutch के आधार पर MapReduce का एक पूर्ण कार्यान्वयन बनाया; कुछ ही समय बाद, सभी कोर नच एल्गोरिदम को MapReduce और NDFS का उपयोग करने के लिए अनुकूलित किया गया था। 2006 में, Hadoop को Lucene प्रोजेक्ट के तहत एक स्वतंत्र सबप्रोजेक्ट के रूप में चुना गया।

2008 में, Hadoop प्रमुख Apache परियोजनाओं में से एक बन गया। तब तक, यह याहू, फेसबुक और लास्ट.फैम जैसी कंपनियों में पहले ही सफलतापूर्वक उपयोग किया जा चुका था। आज, Hadoop व्यापक रूप से वाणिज्यिक कंपनियों और वैज्ञानिक और शैक्षणिक संस्थानों दोनों में उपयोग किया जाता है।

Hadoop प्रोजेक्ट संरचना

Hadoop परियोजना में निम्नलिखित उपप्रकार शामिल हैं:

सामान्य - वितरित फ़ाइल सिस्टम और सामान्य इनपुट-आउटपुट के लिए घटकों और इंटरफेस का एक सेट;
मैप रिड्यूस - एक वितरित कंप्यूटिंग मॉडल जो बहुत बड़ी (कई पेटाबाइट्स तक) डेटा वॉल्यूम पर समानांतर कंप्यूटिंग के लिए डिज़ाइन किया गया है;
एचडीएफएस एक वितरित फाइल सिस्टम है जो विशिष्ट मशीनों के बड़े समूहों पर चलता है।

Hadoop में पहले अन्य उपप्रोजेक्ट शामिल थे, जो अब Apache Software Foundation के स्टैंड-अलोन उत्पाद हैं:

एवरो - इंटर-भाषा आरपीसी कॉल और दीर्घकालिक डेटा भंडारण के लिए एक क्रमांकन प्रणाली;
सुअर डेटा के बड़े प्रवाह का विश्लेषण करने के लिए डेटा प्रवाह नियंत्रण भाषा और निष्पादन का माहौल है;
छत्ता - वितरित डेटा गोदाम; यह HDFS में संग्रहीत डेटा का प्रबंधन करता है और इस डेटा के साथ काम करने के लिए SQL- आधारित क्वेरी भाषा प्रदान करता है;
HBase - गैर-संबंधपरक वितरित डेटाबेस;
चिड़ियाघरकीपर - वितरित समन्वय सेवा; वितरित अनुप्रयोगों के निर्माण के लिए आदिम प्रदान करता है;
Sqoop - संरचित भंडारण और HDFS के बीच डेटा स्थानांतरित करने के लिए एक उपकरण;
Oozie रिकॉर्डिंग और Hadoop कार्यों को शेड्यूल करने के लिए एक सेवा है।

हडपप वितरण

आज, Hadoop एक जटिल प्रणाली है जिसमें बड़ी संख्या में घटक होते हैं। ऐसी प्रणाली को स्वयं स्थापित करना और कॉन्फ़िगर करना बहुत मुश्किल काम है। इसलिए, कई कंपनियां आज तैनाती, प्रशासन, और निगरानी उपकरण सहित ऑफ-द-शेल्फ हैडॉप वितरण प्रदान करती हैं।

Hadoop वितरण दोनों वाणिज्यिक (इंटेल, आईबीएम, EMC, ओरेकल जैसी कंपनियों के उत्पादों) के तहत वितरित किया जाता है, और मुफ्त (Cloudera, Hortonworks और MapR कंपनियों के उत्पादों) लाइसेंस के तहत। हम अधिक विस्तार से क्लोडर हाडोप वितरण के बारे में बात करेंगे।

क्लाउडरा हडूप था

Cloudera Hadoop Apache Hadoop Developers Doug कटिंग और माइक कैफ़ेला की सक्रिय भागीदारी के साथ बनाया गया एक पूरी तरह से खुला स्रोत वितरण है। यह मुफ़्त और सशुल्क दोनों संस्करणों में वितरित किया जाता है, जिसे क्लाउडरा एंटरप्राइज के रूप में जाना जाता है।

उस समय, जब हम हडोप परियोजना में रुचि रखते थे, क्लोडेरा ने खुले हडोप वितरण में सबसे पूर्ण और व्यापक समाधान प्रदान किया। ऑपरेशन के सभी समय के लिए एक भी महत्वपूर्ण खराबी नहीं थी, और क्लस्टर सफलतापूर्वक कई प्रमुख अपडेट से बच गया जो पूरी तरह से स्वचालित रूप से पारित हो गया। और अब, लगभग एक साल के प्रयोगों के बाद, हम कह सकते हैं कि हम बनाये गए विकल्प से संतुष्ट हैं।

Cloudera Hadoop में निम्नलिखित मुख्य घटक शामिल हैं:

क्लोडेरा हडोप (CDH) - हडोप का वास्तविक वितरण;
Cloudera Manager, Hadoop क्लस्टर की तैनाती, निगरानी और प्रबंधन के लिए एक उपकरण है।

Cloudera Hadoop घटकों को बाइनरी पैकेज के रूप में वितरित किया जाता है जिसे पार्सल कहा जाता है। मानक पैकेज और पैकेज प्रबंधकों की तुलना में, पार्सल के निम्नलिखित फायदे हैं:

लोडिंग में आसानी: प्रत्येक पार्सल एक एकल फ़ाइल है जिसमें सभी आवश्यक घटक संयुक्त होते हैं;
आंतरिक स्थिरता: पार्सल के अंदर के सभी घटक पूरी तरह से एक-दूसरे के साथ परीक्षण, डिबग और सुसंगत हैं, इसलिए घटकों की असंगति के साथ समस्याओं की संभावना बहुत कम है;
वितरण और सक्रियण का अंतर: आप पहले सभी प्रबंधित नोड्स पर पार्सल स्थापित कर सकते हैं, और फिर उन्हें एक क्रिया के साथ सक्रिय कर सकते हैं; इसके लिए धन्यवाद, सिस्टम अपडेट जल्दी से और न्यूनतम डाउनटाइम के साथ किया जाता है;
"चलते-फिरते" अपडेट: छोटे संस्करण को अपडेट करते समय, सभी नई प्रक्रियाएं (कार्य) स्वचालित रूप से इस संस्करण के तहत शुरू हो जाएंगी, पहले से ही लॉन्च किए गए कार्य पुराने वातावरण में निष्पादित किए जाने तक जारी रहेंगे। हालाँकि, सभी प्रमुख सेवाओं को पूरी तरह से पुनः आरंभ करने और सभी मौजूदा कार्यों के अनुसार नए प्रमुख संस्करण में अपडेट करना संभव है;
परिवर्तनों का सरल रोलबैक: यदि आप CDH के नए संस्करण के साथ काम करने में किसी भी समस्या का सामना करते हैं, तो इसे आसानी से पिछले एक में वापस लाया जा सकता है।

हार्डवेयर आवश्यकताओं

Hadoop को तैनात करने के लिए हार्डवेयर आवश्यकताएं एक जटिल विषय हैं। क्लस्टर में विभिन्न नोड्स को विभिन्न आवश्यकताओं के साथ प्रस्तुत किया जाता है। आप इसके बारे में अधिक पढ़ सकते हैं, उदाहरण के लिए, इंटेल की सिफारिशें या क्लाउडरा ब्लॉग । सामान्य नियम: अधिक मेमोरी और डिस्क! Hadoop और HDFS के आर्किटेक्चर के कारण RAID-नियंत्रक और अन्य एंटरप्राइज़ जॉयस आवश्यक नहीं हैं, जो कि साधारण साधारण सर्वर पर काम करने के लिए डिज़ाइन किए गए हैं। 12GB प्रति नोड से अधिक के डेटा वॉल्यूम के लिए 10GB नेटवर्क कार्ड का उपयोग करना उचित है।

Cloudera ब्लॉग विभिन्न डाउनलोड विकल्पों के लिए हार्डवेयर कॉन्फ़िगरेशन की निम्न सूची प्रदान करता है:

"लाइट" कॉन्फ़िगरेशन (1U) - 2 छह-कोर प्रोसेसर, 24-64 जीबी मेमोरी, 1-2 टीबी की क्षमता के साथ 8 हार्ड ड्राइव;
तर्कसंगत कॉन्फ़िगरेशन (1U) - 2 छह-कोर प्रोसेसर, 48-128 जीबी मेमोरी, 12-16 हार्ड ड्राइव (1 या 2 टीबी) सीधे मदरबोर्ड नियंत्रक के माध्यम से जुड़े;
भंडारण के लिए "भारी" विन्यास (2 यू): 2 छह-कोर प्रोसेसर, 48-96 जीबी मेमोरी, 16-24 हार्ड ड्राइव। इस कॉन्फ़िगरेशन में नोड्स के संचालन में कई विफलताओं के साथ, नेटवर्क ट्रैफ़िक में तेज वृद्धि होती है;
गहन कंप्यूटिंग के लिए विन्यास: 2 छह-कोर प्रोसेसर, 64-512 जीबी मेमोरी, 1-2 टीबी की क्षमता के साथ 4-8 हार्ड ड्राइव।

ध्यान दें कि सर्वर किराये के मामले में, आपके सर्वर खरीदते समय असफल चयनित कॉन्फ़िगरेशन से नुकसान उतना भयानक नहीं होता है। यदि आवश्यक हो, तो आप पट्टे पर सर्वर को संशोधित कर सकते हैं या उन्हें अपने कार्यों के लिए अधिक उपयुक्त के साथ बदल सकते हैं।

हम अपने क्लस्टर की स्थापना के लिए सीधे आगे बढ़ते हैं।

ओएस स्थापना और सेटअप

सभी सर्वरों के लिए, हम न्यूनतम स्थापना में CentOS 6.4 का उपयोग करेंगे, लेकिन आप अन्य वितरणों का उपयोग कर सकते हैं: डेबियन, उबंटू, आरएचईएल, आदि। आवश्यक पैकेज संग्रह .cloudera.com पर सार्वजनिक रूप से उपलब्ध हैं और मानक पैकेज प्रबंधकों द्वारा स्थापित किए गए हैं।

Cloudera Manager सर्वर पर, हम सॉफ़्टवेयर या हार्डवेयर RAID1 और एक रूट विभाजन का उपयोग करने की सलाह देते हैं, आप इसे एक अलग / var / log / विभाजन में स्थानांतरित कर सकते हैं। हडूप क्लस्टर में जोड़े जाने वाले सर्वरों पर, हम दो विभाजन बनाने की सलाह देते हैं:

"/" ओएस और सॉफ्टवेयर क्लूडेरा हडोप के लिए 50-100GB के आकार में;
एचडीएफ डेटा संग्रहीत करने के लिए सभी उपलब्ध डिस्क पर एलवीएम के शीर्ष पर "डीएफएस";
"स्वैप" बहुत छोटा बनाने के लिए बेहतर है, लगभग 500 एमबी। आदर्श रूप से, सर्वरों को स्वैप नहीं करना चाहिए, लेकिन यदि ऐसा होता है, तो एक छोटा स्वैप OOM हत्यारे से प्रक्रियाओं को बचाएगा।

सभी सर्वरों पर, जिसमें क्लाउड मैनेजर सर्वर, SELinux और फ़ायरवॉल अक्षम होना चाहिए। आप निश्चित रूप से ऐसा नहीं कर सकते हैं, लेकिन फिर आपको सुरक्षा नीतियों को ठीक करने के लिए बहुत समय और प्रयास करना होगा। सुरक्षा सुनिश्चित करने के लिए, नेटवर्क स्तर पर बाहरी दुनिया से जितना संभव हो सके क्लस्टर को अलग करने की सिफारिश की जाती है, उदाहरण के लिए, एक हार्डवेयर फ़ायरवॉल या एक पृथक वीएलएएन (स्थानीय प्रॉक्सी के माध्यम से दर्पण तक पहुंच व्यवस्थित करें) का उपयोग करना।

  # vi / etc / selinux / config # SElinux बंद करें
 SELINUX = अक्षम किया गया
 # system-config-firewall-tui # फ़ायरवॉल बंद करें और सेटिंग्स को सेव करें
 # रिबूट

हम Cloudera प्रबंधक सर्वर और क्लस्टर नोड्स की स्वचालित स्थापना के लिए तैयार किकस्टार्ट फ़ाइलों के उदाहरण प्रस्तुत करते हैं।

उदाहरण मेदरा_मानगर.क

 स्थापित
 टेक्स्ट
 रिबूट

 ### सामान्य
 url --url http://mirror.selectel.ru/centos/6.4/os/x86_64
 # CDH के लिए SELinux अक्षम करें
 सेलिनक्स - डिसेबल्ड
 rootpw supersecretpasswrd
 ऑर्टकोन्फिग --enableshadow --enablemd5
 # नेटवर्किंग
 फ़ायरवॉल - अक्षम
 network --bootproto = static --device = eth0 --ip = 1.2.3.254 --netmask = 255.255.255.0 - गेजवे = 1.2.3.1 --nameserver = 188.93.16.19,109.234.259.91,188.93.17.19 --hostname = cm.example.net
 # क्षेत्रीय
 हमें कीबोर्ड
 lang en_US.UTF-8
 समयक्षेत्र यूरोप / मास्को

 ### विभाजन
 Zerombr हाँ
 bootloader --location = mbr --driveorder = sda, sdb
 क्लीयरपार्ट --all --initlabel
 भाग raid.11 - आकार 1024 --asprimary --ondrive = sda
 भाग छापे। 12 - आकार 1 --ग्रो -स्प्रिमरी --ondrive = sda
 भाग raid.21 - आकार 1024 --asprimary --ondrive = sdb
 part raid.22 --साइज 1 --grow --asprimary --ondrive = sdb
 raid / boot --fstype ext3 --device md0 --level = RAID1 raid.11 raid.21 
 raid pv.01 --fstype ext3 --device md1 --level = RAID1 raid.12 raid.22 

 वोल्ग्रुप vg0 pv.01     
 logvol swap --vgname = vg0 --size = 12288 --name = swap --fstype = x4
 logvol / --vgname = vg0 --size = 1 --grow --name = vg0-root --fstype = ext4

 % संकुल
 @Base
 wget
 NTP

 % पद --erroronfail
 chkconfig ntpd पर
 wget -q -O /etc/yum.repos.d/cloudera-manager.repo http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/cloudera-manager.repo
 rpm --import http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
 yum -y install jdk
 yum -y इंस्टॉल करें क्लाउडडेरा-मैनेजर-डेमोंस
 yum -y install clouddera-manager-server
 yum -y install clouddera-manager-server-db

Node.ks उदाहरण

 स्थापित
 टेक्स्ट
 रिबूट

 ### सामान्य
 url --url http://mirror.selectel.ru/centos/6.4/os/x86_64
 # CDH के लिए SELinux अक्षम करें
 सेलिनक्स - डिसेबल्ड
 rootpw nununifiedpasswd
 ऑर्टकोन्फिग --enableshadow --enablemd5
 # नेटवर्किंग
 फ़ायरवॉल - अक्षम
 network --bootproto = static --device = eth0 --ip = 1.2.3.10 --netmask = 255.255.255.0 --gateway = 1.2.3.1 --nameserver = 188.93.16.19,109.234.1.1.9.91,188.93.17.19 --hostname = node.example.net
 # क्षेत्रीय
 हमें कीबोर्ड
 lang en_US.UTF-8
 समयक्षेत्र यूरोप / मास्को

 ### विभाजन
 Zerombr हाँ
 bootloader --location = mbr --driveorder = sda
 क्लीयरपार्ट --all --initlabel
 part / boot --fstype ext3 --size 1024-asprimary --ondrive = sda
 part pv.01 --fstype ext3 --size 1 --grow --asprimary --ondrive = sda
 # हर हार्ड ड्राइव के लिए दोहराएं 
 part pv.01 --fstype ext3 --size 1 --grow --asprimary --ondrive = sdb
 part pv.01 --fstype ext3 --size 1 --grow --asprimary --ondrive = sdc

 वोल्ग्रुप vg0 pv.01     
 logvol swap --vgname = vg0 --size = 512 --name = swap --fstype = der4
 logvol / --vgname = vg0 --size = 51200 --name = vg0-root --fstst = = 4
 logvol / dfs --vgname = vg0 --size = 1 --grow --name = dfs --fstype = ext4

 % संकुल
 @Base
 wget
 NTP

 % पद --erroronfail
 chkconfig ntpd पर

क्लाउड प्रबंधक स्थापित करें

हम क्लाउड प्रबंधक स्थापित करके शुरू करते हैं, जो तब सर्वर पर हमारे भविष्य के Hadoop क्लस्टर को तैनात और कॉन्फ़िगर करेगा।

स्थापना से पहले, आपको यह सुनिश्चित करना चाहिए कि:

क्लस्टर में शामिल सभी सर्वर ssh के माध्यम से सुलभ हैं, और उनके पास एक ही रूट पासवर्ड है (या एक सार्वजनिक ssh कुंजी जोड़ा गया है);
सभी नोड्स में मानक पैकेज रिपॉजिटरी तक पहुंच होनी चाहिए (इंटरनेट तक पहुंच हो या स्थानीय रिपॉजिटरी / प्रॉक्सी तक पहुंच हो);
क्लस्टर में शामिल सभी सर्वरों के पास संग्रह .cloudera.com या आवश्यक स्थापना फ़ाइलों के साथ स्थानीय भंडार तक पहुंच है;
ntp सभी सर्वरों पर स्थापित है और समय सिंक्रनाइज़ेशन कॉन्फ़िगर किया गया है;
क्लस्टर और सीएम सर्वर के सभी नोड्स में डीएनएस और पीटीआर रिकॉर्ड कॉन्फ़िगर किए गए हैं (या सभी होस्ट सभी सर्वरों के / etc / मेजबान में पंजीकृत होने चाहिए)।

एक Cloudera दर्पण जोड़ें और आवश्यक पैकेज स्थापित करें:

  # wget -q -O /etc/yum.repos.d/cloudera-manager.repo http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/cloudera-manager.repo
 # rpm --import http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
 # yum -y install jdk
 # यम-मैं बादल-प्रबंधक-डेमॉन स्थापित करता हूं
 # yum -y इंस्टॉल क्लाउड-मैनेजर-सर्वर
 # yum -y इंस्टॉल क्लाउड-मैनेजर-सर्वर-डीबी

स्थापना के अंत में, हम मानक डेटाबेस लॉन्च करते हैं (सादगी के लिए हम इसका उपयोग करेंगे, हालांकि कोई भी तृतीय-पक्ष जुड़ा हो सकता है) और स्वयं सीएम सेवा:

  # aetc/init.d/cloudera-scm-server-db प्रारंभ
 #etc/init.d/cloudera-scm-server प्रारंभ

क्लोडेरा हैडोप क्लस्टर तैनाती

Cloudera Manager को स्थापित करने के बाद, आप कंसोल के बारे में भूल सकते हैं, हम Cloudera Manager वेब इंटरफ़ेस का उपयोग करके क्लस्टर के साथ आगे की सभी बातचीत करेंगे। डिफ़ॉल्ट रूप से, Cloudera Manager 7180 पोर्ट का उपयोग करता है। आप DNS नाम या सर्वर के आईपी पते का उपयोग कर सकते हैं। ब्राउज़र बार में यह पता दर्ज करें।
स्क्रीन पर एक लॉगिन विंडो दिखाई देगी। लॉगिन और पासवर्ड मानक (व्यवस्थापक, व्यवस्थापक) हैं। बेशक, उन्हें तुरंत बदलने की आवश्यकता है।
एक विंडो खुलेगी जो आपसे क्लाउडिया संस्करण के संस्करण को चुनने के लिए कहेगी: नि: शुल्क, 60-दिवसीय परीक्षण या सशुल्क लाइसेंस:

मुफ्त (क्लोउडा स्टैंडर्ड) संस्करण चुनें। परीक्षण या सशुल्क लाइसेंस को बाद में किसी भी समय सक्रिय किया जा सकता है जब आप क्लस्टर के साथ काम करने में पहले से ही सहज हों।

स्थापना के दौरान, Cloudera Manager सेवा क्लस्टर में SSH के माध्यम से सर्वरों से जुड़ेगी; वह मेनू में निर्दिष्ट उपयोगकर्ता की ओर से सर्वर पर सभी कार्य करता है; डिफ़ॉल्ट रूप से, रूट का उपयोग किया जाता है।

इसके बाद, Cloudera Manager आपको होस्ट पते को निर्दिष्ट करने के लिए कहेगा जहाँ Cloudera Hadoop स्थापित किया जाएगा:

पते सूची और मुखौटा द्वारा निर्दिष्ट किए जा सकते हैं, उदाहरण के लिए इस तरह:

10.1.1। [1-4] का अर्थ है कि क्लस्टर में IP पते 10.1.1.1, 10.1.1.2, 10.1.1.3, 10.1.1.4 के साथ नोड्स शामिल होंगे।
host [07-10] .example.com - host07.example.com, host08.example.com, host09.example.com, host10.example.com।

उसके बाद, सर्च बटन पर क्लिक करें। क्लाउड प्रबंधक निर्दिष्ट मेजबानों का पता लगाएगा, और उनकी एक सूची स्क्रीन पर प्रदर्शित की जाएगी:

एक बार फिर हम जांचते हैं कि क्या इस सूची में सभी आवश्यक होस्ट शामिल हैं (आप नए खोज बटन पर क्लिक करके नए होस्ट जोड़ सकते हैं)। इसके बाद Continue बटन पर क्लिक करें। रिपॉजिटरी चयन विंडो खुलती है:

स्थापना की एक विधि के रूप में, हम पार्सल की स्थापना को चुनने की सलाह देते हैं, हम पहले ही उनके फायदे के बारे में बात कर चुके हैं। पार्सल को आर्काइव.क्लाउडर.ऑन रिपॉजिटरी से स्थापित किया गया है। CDH पार्सल के अलावा, उसी रिपॉजिटरी से आप SOLR सर्च टूल और Hadoop IMPALA- आधारित डेटाबेस स्थापित कर सकते हैं।

स्थापित करने के लिए पार्सलों का चयन करने के बाद, जारी रखें बटन पर क्लिक करें। अगली विंडो में, SSH (लॉगिन, पासवर्ड या निजी कुंजी, कनेक्शन के लिए पोर्ट नंबर) के माध्यम से प्रवेश के लिए पैरामीटर निर्दिष्ट करें:

उसके बाद, जारी रखें बटन पर क्लिक करें। स्थापना प्रक्रिया शुरू होगी:

स्थापना के पूरा होने पर, स्थापित घटकों के सारांश के साथ एक तालिका और उनका संस्करण स्क्रीन पर प्रदर्शित किया जाएगा:

एक बार फिर, हम जांचते हैं कि क्या सब कुछ क्रम में है, और जारी रखें बटन पर क्लिक करें। एक विंडो आपको इंस्टॉलेशन के लिए क्लाडरो हाडोप घटकों और सेवाओं का चयन करने के लिए प्रेरित करती है:

उदाहरण के लिए, हम "सभी सेवाएँ" विकल्प का चयन करके सभी घटकों को स्थापित करेंगे, बाद में किसी भी सेवा को जोड़ना या निकालना संभव होगा। अब आपको यह निर्दिष्ट करने की आवश्यकता है कि विशिष्ट मेजबानों पर क्लाउडराडो के कौन से घटक स्थापित किए जाएंगे। हम अनुशंसा करते हैं कि आप डिफ़ॉल्ट विकल्प पर भरोसा करते हैं, नोड्स पर भूमिकाओं की व्यवस्था के बारे में अधिक जानकारी के लिए एक विशेष सेवा के लिए दस्तावेज़ में पाया जा सकता है।

जारी रखें बटन पर क्लिक करें और अगले चरण पर जाएं - डेटाबेस सेट करें:

डिफ़ॉल्ट रूप से, सिस्टम की निगरानी और प्रबंधन से संबंधित सभी जानकारी PostgreSQL डेटाबेस में संग्रहीत की जाती है जिसे हमने क्लाउड मैनेजर के साथ स्थापित किया था। आप अन्य डेटाबेस का उपयोग कर सकते हैं - इस मामले में, मेनू से कस्टम डेटाबेस का उपयोग करें चुनें। आवश्यक पैरामीटर सेट करने के बाद, हम "टेस्ट कनेक्शन" डेटाबेस के साथ कनेक्शन की जांच करते हैं, और यदि सफल हो, तो क्लस्टर में तत्वों के कॉन्फ़िगरेशन को आगे बढ़ाने के लिए "जारी रखें" बटन पर क्लिक करें:

जारी रखें बटन पर क्लिक करें और इस तरह क्लस्टर को कॉन्फ़िगर करने की प्रक्रिया शुरू करें। सेटअप प्रगति स्क्रीन पर प्रदर्शित होती है:

जब सभी घटकों का कॉन्फ़िगरेशन पूरा हो जाता है, तो हम अपने क्लस्टर के डैशबोर्ड पर जाते हैं। उदाहरण के लिए, यहाँ हमारे परीक्षण क्लस्टर का डैशबोर्ड है:

एक निष्कर्ष के बजाय

इस लेख में, हमने आपको एक Hadoop क्लस्टर स्थापित करने का परिचय देने का प्रयास किया और यह दिखाया कि क्लोडर Hadoop जैसे तैयार किए गए वितरणों का उपयोग करते समय, इसमें बहुत कम समय और प्रयास लगता है। Hadoop के साथ परिचय जारी रखने के लिए, मैं टॉम व्हाइट की पुस्तक "Hadoop: The Definitive Guide" की सिफारिश करता हूं, एक रूसी संस्करण है।

विशिष्ट उपयोग परिदृश्यों का उपयोग करके क्लाउडराडो के साथ काम करना श्रृंखला में निम्नलिखित लेखों में चर्चा की जाएगी। अगला प्रकाशन फ़्लूम के लिए समर्पित होगा - लॉग और अन्य डेटा एकत्र करने के लिए एक सार्वभौमिक उपकरण।

जो लोग हबेरा के पदों पर टिप्पणी नहीं कर सकते, उनके लिए हम अपने ब्लॉग पर आमंत्रित करते हैं।

Hadoop भाग 1: क्लस्टर परिनियोजन