खरोंच से एक छोटा Hadoop 2.2.0 क्लस्टर स्थापित करना

यह लेख प्रयोगों के लिए एक छोटा सा Hadoop क्लस्टर बनाने के चरणों के माध्यम से आपको ले जाएगा।

इस तथ्य के बावजूद कि Hadoop की स्थापना / तैनाती के बारे में विदेशी संसाधनों पर इंटरनेट पर बहुत सारी सामग्री है, उनमें से ज्यादातर या तो पहले के संस्करणों (0.XX और 1.XX) को स्थापित करने का वर्णन करते हैं, या केवल एकल मोड / छद्म वितरित मोड में स्थापित करने का वर्णन करते हैं। केवल आंशिक रूप से पूरी तरह से वितरित मोड। रूसी में, व्यावहारिक रूप से कोई भी सामग्री नहीं है।

जब मुझे स्वयं हडॉप की आवश्यकता थी, तो यह पहली बार नहीं था जब मैं सब कुछ कॉन्फ़िगर करने में सक्षम था। सामग्री अप्रासंगिक थी, अक्सर यह कॉन्फ़िगर किया गया था कि पदावनत मापदंडों का उपयोग करें, इसलिए उनका उपयोग करना अवांछनीय है। और यहां तक ​​कि जब सब कुछ सेट किया गया था, तब भी उसने कई सवाल पूछे थे, जिसके जवाब की तलाश थी। अन्य लोगों के भी ऐसे ही सवाल थे ।

जो कोई भी दिलचस्पी है, बिल्ली के लिए स्वागत है।

प्रीसेट

हमारे क्लस्टर के लिए ऑपरेटिंग सिस्टम के रूप में, मैं उबंटू सर्वर 12.04.3 एलटीएस का उपयोग करने का सुझाव देता हूं, लेकिन न्यूनतम बदलावों के साथ, आप सभी चरणों को दूसरे ओएस पर भी कर सकते हैं।

सभी नोड्स VirtualBox पर चलेंगे। वर्चुअल मशीन के लिए सिस्टम सेटिंग्स मैं छोटा सेट करता हूं। केवल 8 जीबी हार्ड ड्राइव स्पेस, एक कोर और 512 एमबी मेमोरी। वर्चुअल मशीन दो नेटवर्क एडेप्टर से भी सुसज्जित है: एक NAT और दूसरा आंतरिक नेटवर्क के लिए।

ऑपरेटिंग सिस्टम डाउनलोड और इंस्टॉल होने के बाद, आपको ssh और rsync को अपग्रेड और इंस्टॉल करना होगा:

sudo apt-get update && sudo apt-get upgrade sudo apt-get install ssh sudo apt-get install rsync 

जावा

काम करने के लिए Hadoop के लिए आप 6 या संस्करण 7 का उपयोग कर सकते हैं।
यह लेख OpenJDK संस्करण 7 के साथ काम करेगा:

 $ sudo apt-get install openjdk-7-jdk 

यद्यपि आप Oracle से संस्करण का उपयोग कर सकते हैं।

Hadoop चलाने के लिए एक अलग खाता बनाएँ

हम Hadoop को लॉन्च करने के लिए एक समर्पित खाते का उपयोग करेंगे। यह आवश्यक नहीं है, लेकिन अनुशंसित है। हम भविष्य में अपने लिए जीवन को आसान बनाने के लिए नए उपयोगकर्ता sudo अधिकारों को भी प्रदान करेंगे।

 sudo addgroup hadoop sudo adduser --ingroup hadoop hduser sudo usermod -aG sudo hduser 

एक नया उपयोगकर्ता बनाते समय, आपको उसके लिए एक पासवर्ड दर्ज करना होगा।

/ आदि / मेजबान

हमें आसानी से एक-दूसरे तक पहुंचने के लिए सभी नोड्स की आवश्यकता है। एक बड़े क्लस्टर में, dns सर्वर का उपयोग करना उचित है, लेकिन मेजबानों की फाइल हमारे छोटे विन्यास के लिए उपयुक्त है। इसमें हम नेटवर्क पर उसके नाम के नोड के आईपी-पते के पत्राचार का वर्णन करेंगे। एक नोड के लिए, आपकी फ़ाइल को कुछ इस तरह दिखना चाहिए:

 127.0.0.1 localhost # The following lines are desirable for IPv6 capable hosts ::1 ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters 192.168.0.1 master 

SSH

हडूप क्लस्टर के नोड्स को प्रबंधित करने के लिए, ssh एक्सेस की आवश्यकता है। बनाए गए उपयोगकर्ता HDuser के लिए, मास्टर तक पहुंच प्रदान करें।
सबसे पहले आपको एक नई ssh कुंजी जेनरेट करनी होगी:

 ssh-keygen -t rsa -P "" 

मुख्य निर्माण के दौरान, एक पासवर्ड का अनुरोध किया जाएगा। अब आप इसमें प्रवेश नहीं कर सकते।

अगला चरण अधिकृत सूची में बनाई गई कुंजी को जोड़ना है:

 cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 

हम खुद से जुड़कर प्रदर्शन की जाँच करते हैं:

 ssh master 

IPv6 को अक्षम करना

यदि आप IPv6 को अक्षम नहीं करते हैं, तो आपको बहुत सारी समस्याएं हो सकती हैं।
Ubuntu 12.04 / 12.10 / 13.04 में IPv6 को अक्षम करने के लिए, आपको sysctl.conf फ़ाइल को संपादित करना होगा:

 sudo vim /etc/sysctl.conf 

निम्नलिखित पैरामीटर जोड़ें:

 # IPv6 net.ipv6.conf.all.disable_ipv6 = 1 net.ipv6.conf.default.disable_ipv6 = 1 net.ipv6.conf.lo.disable_ipv6 = 1 

हम ऑपरेटिंग सिस्टम को सहेजते हैं और रिबूट करते हैं।

Apache Hadoop स्थापित करें

आवश्यक फाइलें डाउनलोड करें।
फ्रेमवर्क के वर्तमान संस्करण यहां स्थित हैं: www.apache.org/dyn/closer.cgi/hadoop/common

दिसंबर 2013 के समय, स्थिर संस्करण 2.2.0 है।

रूट निर्देशिका में डाउनलोड फ़ोल्डर बनाएँ और नवीनतम संस्करण डाउनलोड करें:

 sudo mkdir /downloads cd downloads/ sudo wget http://apache-mirror.rbc.ru/pub/apache/hadoop/common/stable/hadoop-2.2.0.tar.gz 

/ Usr / स्थानीय / में पैकेज की सामग्री को अनपैक करें, फ़ोल्डर का नाम बदलें और एचडीयूसर उपयोगकर्ता निर्माता अधिकार दें:

 sudo mv /downloads/hadoop-2.2.0.tar.gz /usr/local/ cd /usr/local/ sudo tar xzf hadoop-2.2.0.tar.gz sudo mv hadoop-2.2.0 hadoop chown -R hduser:hadoop hadoop 

$ घर / .bashrc अद्यतन

सुविधा के लिए, .bashrc में चर की सूची जोड़ें:

 #Hadoop variables export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386 export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL 

इस कदम पर, प्रारंभिक तैयारी पूरी हो गई है।

अपाचे Hadoop कॉन्फ़िगर करें

बाद के सभी कार्य फ़ोल्डर / usr / स्थानीय / हडूप से किए जाएंगे।
आदि को खोलें / hadoop / hadoop-env.sh और JAVA_HOME सेट करें।

 vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh 

हम वर्णन करेंगे कि फ़ाइल में क्लस्टर में हमारे पास क्या नोड्स होंगे / हडूप / दास

 master 

यह फ़ाइल केवल मुख्य नोड पर स्थित हो सकती है। यहां सभी नए नोड्स का वर्णन किया जाना चाहिए।

मुख्य प्रणाली सेटिंग्स आदि / हडूप / कोर-साइट.एक्सएमएल में स्थित हैं:

 <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration> 

एचडीएफ सेटिंग्स आदि / हडूप / एचडीएफएस-साइट.एक्सएमएल में हैं:

 <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/hdfs/datanode</value> </property> </configuration> 

यहां, dfs.replication पैरामीटर फ़ाइल सिस्टम पर संग्रहीत किए जाने वाले प्रतिकृतियों की संख्या निर्धारित करता है। डिफ़ॉल्ट रूप से, इसका मूल्य है

3. यह क्लस्टर में नोड्स की संख्या से अधिक नहीं हो सकता है।
Dfs.namenode.name.dir और dfs.datanode.data.dir पैरामीटर उन रास्तों को निर्दिष्ट करते हैं जहाँ डेटा और जानकारी HDFS में भौतिक रूप से स्थित होंगे। आपको पहले से tmp फ़ोल्डर बनाना होगा।

हमारे क्लस्टर को बताएं कि हम YARN का उपयोग करना चाहते हैं। ऐसा करने के लिए, आदि बदलें / hadoop / mapred-site.xml:

 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 

सभी यार सेटिंग्स आदि / हडूप / यार्न- site.xml में वर्णित हैं:

 <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> </configuration> 

रिसोर्समैनेजर सेटिंग्स की जरूरत है ताकि क्लस्टर के सभी नोड्स कंट्रोल पैनल में देखे जा सकें।

प्रारूप HDFS:

 bin/hdfs namenode –format 

हडूप सेवा चलाएं:

 sbin/start-dfs.sh sbin/start-yarn.sh 

* Hadoop के पिछले संस्करण में sbin / start-all.sh स्क्रिप्ट का उपयोग किया गया था, लेकिन इसे संस्करण 2 से हटा दिया गया है। * *।

आपको यह सुनिश्चित करने की आवश्यकता है कि निम्नलिखित जावा प्रक्रियाएं चल रही हैं:

 hduser@master:/usr/local/hadoop$ jps 4868 SecondaryNameNode 5243 NodeManager 5035 ResourceManager 4409 NameNode 4622 DataNode 5517 Jps 

आप मानक उदाहरणों का उपयोग करके क्लस्टर ऑपरेशन का परीक्षण कर सकते हैं:

 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar 

अब हमारे पास एक तैयार छवि है जो क्लस्टर बनाने के लिए आधार के रूप में काम करेगी।

इसके बाद, आप हमारी छवि की आवश्यक संख्या बना सकते हैं।

प्रतियों पर, आपको नेटवर्क को कॉन्फ़िगर करने की आवश्यकता है। नेटवर्क इंटरफेस के लिए नए मैक पते उत्पन्न करना और उन्हें आवश्यक आईपी पते जारी करना आवश्यक है। मेरे उदाहरण में, मैं 192.168.0.X जैसे पतों के साथ काम करता हूं।

क्लस्टर के सभी नोड्स पर / etc / मेजबान फ़ाइल को ठीक करें ताकि उसमें सभी मैच लिखे जाएं।



सुविधा के लिए, नए नोड्स के नाम बदलकर slave1 और slave2 करें।



नोड्स पर नई SSH कुंजियाँ बनाएँ और उन सभी को मास्टर नोड पर अधिकृत की सूची में जोड़ें।

क्लस्टर के प्रत्येक नोड पर, dfs.replication पैरामीटर के मानों को आदि / hadoop / hdfs-site.xml में बदलें। उदाहरण के लिए, मान को हर जगह 3 पर सेट करें।


मास्टर नोड पर आदि / हडूप / दास फ़ाइल में नए नोड जोड़ें:

 master slave1 slave2 

जब सभी सेटिंग्स पंजीकृत हैं, तो मुख्य नोड पर आप हमारे क्लस्टर को शुरू कर सकते हैं।

 bin/hdfs namenode –format sbin/start-dfs.sh sbin/start-yarn.sh 

निम्नलिखित प्रक्रिया दास नोड्स पर शुरू होनी चाहिए:

 hduser@slave1:/usr/local/hadoop$ jps 1748 Jps 1664 NodeManager 1448 DataNode 

अब हमारा अपना मिनी-क्लस्टर है।

वर्ड काउंट टास्क को रन करते हैं।
ऐसा करने के लिए, हमें कई पाठ फ़ाइलों को एचडीएफएस पर अपलोड करना होगा।
उदाहरण के लिए, मैंने फ्री ई- बुक्स साइट - प्रोजेक्ट गुटेनबर्ग से txt प्रारूप में पुस्तकें लीं।


हमारी फ़ाइलों को HDFS में स्थानांतरित करें:

 cd /usr/local/hadoop bin/hdfs dfs -mkdir /in bin/hdfs dfs -copyFromLocal /home/hduser/books/* /in bin/hdfs dfs -ls /in 

लॉन्च शब्द गणना:

 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /in /out 

आप कंसोल पर या मास्टर में रिसोर्समैन के वेब इंटरफेस के माध्यम से कार्य की निगरानी कर सकते हैं: 8088 / क्लस्टर / एप्स /

पूरा होने पर, परिणाम एचडीएफएस में / आउट फ़ोल्डर में स्थित होगा।
स्थानीय फ़ाइल सिस्टम में इसे डाउनलोड करने के लिए, निष्पादित करें:

 bin/hdfs dfs -copyToLocal /out /home/hduser/ 

यदि आपके कोई प्रश्न हैं, तो उन्हें टिप्पणियों में पूछें।