Hadoop भाग 3: सुअर, डाटा प्रोसेसिंग

पिछले प्रकाशन में, हमने विशेष फ़्लेम टूल का उपयोग करके डेटा एकत्र करने की प्रक्रिया की विस्तार से जाँच की। लेकिन पूरी तरह से जानकारी के साथ काम करने के लिए, इसे इकट्ठा करने और इसे बचाने के लिए केवल पर्याप्त नहीं है: इसे संसाधित करने और इसे आवश्यक और उपयोगी कुछ से निकालने की आवश्यकता है।

Hadoop डेटा को प्रोसेस करने के लिए MapReduce तकनीक का उपयोग करता है।

MapReduce प्रौद्योगिकी

कहानी

Hadoop में डेटा प्रसंस्करण MapReduce तकनीक का उपयोग किया जाता है। यह तकनीक मूल रूप से 2004 में Google द्वारा विकसित की गई थी।

2004 में, Google डेवलपर्स जेफरी डीन और संजय गेमावत ने एक लेख प्रकाशित किया, जिसमें उन्होंने "कच्चे" डेटा (अनुक्रमित दस्तावेज़, क्वेरी लॉग इत्यादि) के बड़े संस्करणों के प्रसंस्करण के लिए निम्नलिखित समाधान का प्रस्ताव दिया: जानकारी की एक बड़ी मात्रा को भागों में विभाजित किया गया है, और प्रत्येक का प्रसंस्करण किया जाता है। इन भागों को एक अलग सर्वर को सौंपा गया है। एक नियम के रूप में, डेटा को उसी सर्वर पर संसाधित किया जाता है जहां इसे संग्रहीत किया जाता है, जो आपको प्रसंस्करण प्रक्रिया को गति देने और सर्वरों पर अनावश्यक डेटा स्थानांतरण से बचने की अनुमति देता है। उसके बाद, परिणाम एक पूरे में संयुक्त होते हैं।

ऊपर उल्लेखित आलेख में Google विशेषज्ञों ने खुद को मूल एल्गोरिदम के विवरण तक सीमित किया है, कार्यान्वयन विवरणों पर निवास नहीं। हालाँकि, यह जानकारी Hadoop Developers के लिए अपना MapReduce ढांचा बनाने के लिए पर्याप्त थी।

आज यह कई प्रसिद्ध वेब परियोजनाओं में उपयोग किया जाता है - याहू!, फेसबुक, लास्ट.फैम और अन्य।
Hadoop MapRedus की वास्तुकला और सिद्धांतों पर अधिक विस्तार से विचार करें।

वास्तुकला और काम के सिद्धांत

MapReduce वास्तुकला "मास्टर - अधीनस्थों" (मास्टर - श्रमिकों) के सिद्धांत पर बनाया गया है। JobTracker सर्वर मुख्य सर्वर के रूप में कार्य करता है, क्लस्टर के अधीनस्थ नोड्स को कार्य वितरित करता है और उनके निष्पादन को नियंत्रित करता है।



डेटा प्रोसेसिंग को निम्नलिखित चरणों में विभाजित किया गया है:

1. अनुप्रयोग लॉन्च: आवेदन कोड को मुख्य (मास्टर) और अधीनस्थ नोड्स (श्रमिकों) में स्थानांतरित करना;
2. विज़ार्ड विशिष्ट कार्य (मैप या रिड्यूस) प्रदान करता है और इनपुट डेटा के कुछ हिस्सों को कंप्यूटिंग नोड्स (श्रमिकों) में वितरित करता है;
3. मैप नोड्स उन्हें सौंपे गए इनपुट डेटा को पढ़ते हैं और उन्हें संसाधित करना शुरू करते हैं;
4. मानचित्र नोड्स स्थानीय रूप से मध्यवर्ती परिणामों को संग्रहीत करते हैं: प्रत्येक नोड स्थानीय डिस्क के परिणाम को बचाता है;
5. मैप नोड्स से मध्यवर्ती डेटा को पढ़ने के लिए नोड्स को कम करें और डेटा प्रोसेसिंग को कम करें;
6. नोड्स कम करें आउटपुट फ़ाइलों में अंतिम परिणाम, आमतौर पर एचडीएफएस में।

MapReduce के लिए एप्लिकेशन बनाना एक अधिक समय लेने वाला कार्य है। सभी कार्यों को लिखना, संकलन और पैकेजिंग में बहुत समय लगता है। याहू, चीजों को आसान बनाने के लिए! सुअर नामक एक विशेष उपकरण विकसित किया है, जो डेटा प्रोसेसिंग में अमूर्तता के स्तर को बढ़ाता है।

सूअर

सुअर के दो भाग होते हैं:

• सुअर लैटिन धाराओं का वर्णन करने के लिए भाषा;
• सुअर लैटिन स्क्रिप्ट चलाने के लिए रनटाइम वातावरण (दो विकल्प उपलब्ध हैं: एक स्थानीय JVM पर चल रहा है या एक Hadoop क्लस्टर में चल रहा है)।

पिग स्क्रिप्ट में ऑपरेशन (परिवर्तन) की एक श्रृंखला शामिल है जिसे आउटपुट प्राप्त करने के लिए इनपुट पर लागू किया जाना चाहिए। ये ऑपरेशन डेटा स्ट्रीम का वर्णन करते हैं, जिसे बाद में सुअर रनटाइम द्वारा एक निष्पादन योग्य प्रतिनिधित्व में परिवर्तित (संकलित) किया जाता है और निष्पादन के लिए लॉन्च किया जाता है। एक आंतरिक कार्यान्वयन में, पिग रूपांतरणों को एक MapReduce जॉब श्रृंखला में बदल देता है।

प्रारंभ में, सुअर को कंसोल (ग्रंट शेल) से काम करने के लिए बनाया गया था। क्लाउडरा से कार्यान्वयन में, सुअर के साथ काम करना एक सरल और सुविधाजनक वेब इंटरफ़ेस के माध्यम से किया जाता है। आप इसे परिचित ह्यू इंटरफ़ेस http: // [node_with_hue_installed_name]: 8888 / pig / के माध्यम से खोल सकते हैं



वेब इंटरफेस में एक पूर्ण संपादक शामिल है (यहां तक ​​कि ऑपरेटरों का ऑटो-प्रतिस्थापन भी है) और एक स्क्रिप्ट प्रबंधक। इसके साथ, आप स्क्रिप्ट को सीधे Hue में सेव कर सकते हैं, उन्हें चला सकते हैं, रनिंग टास्क, रिजल्ट और लॉन्च लॉग की एक सूची देख सकते हैं।

परीक्षण कार्य

एक परीक्षण कार्य के रूप में, हम एक निश्चित दिन (दिन) के लिए हमारे भंडारण की पहुंच लॉग की प्रक्रिया करेंगे। हम निम्नलिखित मापदंडों की गणना करते हैं:

• अनुरोधों की कुल संख्या;
• प्रत्येक अद्वितीय आईपी से अनुरोधों की संख्या;
• प्रत्येक अद्वितीय URL के लिए अनुरोधों की संख्या;
• प्रत्येक URL को हस्तांतरित डेटा की मात्रा।

निम्नलिखित एक स्क्रिप्ट है जो समस्या को हल करती है। यह तुरंत ध्यान दिया जाना चाहिए कि यह स्क्रिप्ट (सुअर की सभी लिपियों की तरह) लाइन द्वारा निष्पादित नहीं है, जैसा कि व्याख्या की गई भाषाओं में है। सुअर संकलक निर्भरता को पार्स करता है और डेटा धाराओं को परिभाषित करता है। स्क्रिप्ट का संकलन अंत से शुरू होता है, अर्थात STORE कमांड के साथ। डेटा के लिए, जिसके प्रसंस्करण के बाद कोई कमांड नहीं है, कोई कार्य नहीं बनाया जाएगा और डेटा स्वयं भी नहीं पढ़ा जाएगा। यह आपको एक मनमाना रूप में एक स्क्रिप्ट लिखने की अनुमति देता है, अनुकूलन पर सभी काम, निष्पादन आदेश का निर्धारण और समानांतर कार्य सुअर द्वारा किया जाएगा।

स्क्रिप्ट की पूरी सूची इस तरह दिखाई देगी:

  रिकॉर्ड्स = LOAD '/ लॉग / फ्लूम / इवेंट / 14-02-20 /' USing PigStorage ('\ t')
 के रूप में (
 दिनांक:
 क्लायंटिप: चारर्रे,
 ग्राहक:
 प्रोटो: चारर्रे,
 स्थिति कोड: int,
 बाइट्स: int,
 वर्ग: करैरा,
 bq: करारा,
 अनुरोध: chararray);

 count_total = FOREACH (ग्रुप रिकॉर्ड्स ऑल) जेनरेट COUNT (रिकॉर्ड्स);

 count_ip = FOREACH (क्लाइंट के द्वारा ग्रुप रिकॉर्ड) जनरेट ग्रुप AS ip, COUNT (रिकॉर्ड) AS cnt;
 top_ip = ORDER count_ip BY cnt DESC;

 फ़िल्टर्ड_रेक = स्थिति रिकॉर्ड द्वारा फ़िल्टर करें == 200 या स्थिति कोड == २०६;
 count_req = FOREACH (अनुरोध के आधार पर ग्रुप फ़िल्टर किया गया) सामान्य समूह AS req, COUNT (फ़िल्टर्ड_req) AS cnt, SUM (filtered_req.bytes) AS बाइट्स के रूप में;
 top_req = ORDER count_req BY बाइट्स DESC;

 % घोषित डीटी `तिथि +% y% m% dT% H% M`
 STORE count_total INTO '$ DT / count_total';
 STORE top_ip INTO '$ DT / top_ip';
 STORE top_req INTO '$ DT / top_req'; 

इसमें तीन भाग होते हैं: डेटा लोडिंग, प्रोसेसिंग और स्टोरेज। यह आदेश अधिकांश कार्यों के लिए सामान्य है। कुछ मामलों में, समस्याओं को हल करने में अतिरिक्त चरण शामिल हो सकते हैं - उदाहरण के लिए, डेटा उत्पन्न करना (उदाहरण के लिए, एल्गोरिथम को सत्यापित करने के लिए संरचित कृत्रिम डेटा) या गणना के मध्यवर्ती परिणाम सहेजना। सिंटैक्स, डेटा प्रकार और ऑपरेटरों का विस्तृत विवरण आधिकारिक दस्तावेज में पाया जा सकता है।

आइए प्रत्येक चरण पर अधिक विस्तार से विचार करें।

लदान

  रिकॉर्ड्स = LOAD '/ लॉग / फ्लूम / इवेंट / 14-02-20 /' USing PigStorage ('\ t')
 के रूप में (
 दिनांक:
 क्लायंटिप: चारर्रे,
 ग्राहक:
 प्रोटो: चारर्रे,
 स्थिति कोड: int,
 बाइट्स: int,
 वर्ग: करैरा,
 bq: करारा,
 अनुरोध: chararray); 

इनपुट के रूप में, हम वेब सर्वर लॉग का उपयोग करते हैं। आगे की प्रक्रिया की बेहतर समझ के लिए, हम इनपुट डेटा का एक उदाहरण देते हैं:

  07 / दिसंबर / 2013: 20: 05: 13 95.153.193.56 37877 http 200 1492030 0 0 GET / 745dbda3-894e-43aa-9146-607f19fe442828 HTTP/ 1.1
 08 / दिसंबर / 2013: 15: 00: 28 178.88.91.180 13600 http 200 4798 0 0 GET /public/cars/bmw7l/down.png HTTP / 1.1
 08 / दिसंबर / 2013: 15: 00: 29 193.110.115.45 64318 http 200 1594 0 0 GET /K1/img/top-nav-bg-default.jpg HTTP / 1.1 

सबसे पहले, एक डेटा मॉडल और शब्दावली पर विचार करें। पिग लैटिन में मुख्य वस्तु " रवैया " है। यह ऐसे संबंध हैं, जिनके साथ सभी भाषा ऑपरेटर काम करते हैं। संबंधों के रूप में, इनपुट और आउटपुट डेटा प्रस्तुत किए जाते हैं।

प्रत्येक संबंध एक ही प्रकार की वस्तुओं का एक समूह है - " टुपल्स " (टुपल्स)। डेटाबेस में एनालॉग्स: एक ट्यूपल एक पंक्ति है, एक संबंध एक तालिका है।

Tuples, क्रमशः, गिने या नामित ऑब्जेक्ट्स से मिलकर बनता है - " फ़ील्ड ", मनमाने ढंग से बुनियादी प्रकार (संख्या, स्ट्रिंग, बूलियन चर, आदि)।

तो, पिग लैटिन में, किसी भी ऑपरेटर का परिणाम एक संबंध है, जो ट्यूपल्स का एक संग्रह है।
LOAD स्टेटमेंट '' पिगस्टोरीज इंटरफ़ेस (हम यह भी संकेत करते हैं कि फाइलों में सीमांकक टैब वर्ण 't' है) का उपयोग करते हुए डायरेक्टरी / लॉग / फ्लूम / ईवेंट्स / 14-02-20 / 'से एचडीएफएस में फाइलों से रिलेशन बनाता है। फ़ाइलों की प्रत्येक पंक्ति संबंध में एक टपल के रूप में दिखाई देगी। एएस अनुभाग टुपल में खेतों को प्रकार और नाम प्रदान करता है, जिसके अनुसार उन्हें एक्सेस करना हमारे लिए अधिक सुविधाजनक होगा।

प्रसंस्करण

हम COUNT ऑपरेटर का उपयोग करके लॉग प्रविष्टियों की कुल संख्या की गणना करते हैं। इससे पहले, सभी समूहों को रिकॉर्ड में एक समूह में फॉरएच और ग्रुप स्टेटमेंट के साथ जोड़ना आवश्यक है।

  count_total = FOREACH (ग्रुप रिकॉर्ड्स ऑल) जेनरेट COUNT (रिकॉर्ड्स);
 count_ip = FOREACH (क्लाइंट के द्वारा ग्रुप रिकॉर्ड) जनरेट ग्रुप AS ip, COUNT (रिकॉर्ड) AS cnt;
 top_ip = ORDER count_ip BY cnt DESC; 

पिग लैटिन से प्राकृतिक भाषा में अनुवादित, उपरोक्त स्क्रिप्ट इस तरह दिखाई देती है: प्रत्येक रिकॉर्ड (FOREACH) के लिए, एक साथ समूहीकृत किए गए रिकॉर्ड (GROUP ALL) से, रिकॉर्ड में रिकॉर्ड (सामान्य COUNT)।

अब अद्वितीय पते से अनुरोधों की संख्या की गणना करते हैं। अभिलेखों के बारे में हमारी बातों में, क्लाइंटफ़ील्ड में आईपी पते होते हैं जिनसे अनुरोध किए गए थे। क्लाइंट फ़ील्ड द्वारा रिकॉर्ड में tuples समूह और दो क्षेत्रों से मिलकर एक नए संबंध को परिभाषित:

• फ़ील्ड आईपी, जिसका मूल्य रिकॉर्ड के संबंध में समूह के नाम से लिया जाता है;
• समूह में प्रविष्टियों की संख्या COUNT कथन द्वारा गणना की गई है, अर्थात IP फ़ील्ड में एक विशिष्ट IP पते के अनुरूप प्रविष्टियों की संख्या।

अगला, हम एक अन्य टॉप_आईपी संबंध को परिभाषित करते हैं, जिसमें काउंट_आईपी के समान डेटा शामिल है, लेकिन ORDER ऑपरेटर के साथ cnt फ़ील्ड द्वारा सॉर्ट किया गया है। इस प्रकार, top_ip में हमारे पास ग्राहकों के आईपी पते की एक सूची होगी जिसमें से अनुरोध अक्सर किए गए थे। भविष्य में, हम इस डेटा को GEO-IP से बाँध सकते हैं और यह देख सकते हैं कि हमारा भंडारण किन शहरों और देशों में सबसे लोकप्रिय है =)

  फ़िल्टर्ड_रेक = स्थिति रिकॉर्ड द्वारा फ़िल्टर करें == 200 या स्थिति कोड == २०६;
 count_req = FOREACH (अनुरोध के आधार पर ग्रुप फ़िल्टर किया गया) सामान्य समूह AS req, COUNT (फ़िल्टर्ड_req) AS cnt, SUM (filtered_req.bytes) AS बाइट्स के रूप में;
 top_req = ORDER count_req BY बाइट्स DESC; 

उसके बाद, हम प्रत्येक URL के लिए सफल अनुरोधों की संख्या और साथ ही प्रत्येक URL के लिए डाउनलोड किए गए डेटा की कुल मात्रा की गणना करते हैं। ऐसा करने के लिए, पहले HTTP फ़िल्टर 200 ओके और 206 आंशिक सामग्री के साथ केवल सफल अनुरोधों का चयन करते हुए, फ़िल्टर फ़िल्टर ऑपरेटर का उपयोग करें। यह कथन स्टेटसकोड फ़ील्ड द्वारा फ़िल्टर करके रिकॉर्ड रिलेशन से नए फ़िल्टर किए गए_रैक संबंध को परिभाषित करता है।

अगला, आईपी पते की गिनती के समान, हम अनुरोध फ़ील्ड द्वारा अनुरोधों के लिए प्रविष्टियों को समूहीकृत करते हुए, अद्वितीय URL की संख्या की गणना करते हैं। हम प्रत्येक URL के लिए स्थानांतरित डेटा में भी रुचि रखते हैं: इसकी गणना SUM ऑपरेटर के उपयोग से की जा सकती है, जो फ़िल्टर किए गए_रेक संबंध के समूहीकृत रिकॉर्ड में बाइट फ़ील्ड जोड़ता है।

अब एक नए टॉप_रेक रिलेशन को परिभाषित करते हुए बाइट्स के आधार पर छाँटें।

परिणाम सहेज रहा है

  % घोषित डीटी `तिथि +% y% m% dT% H% M`
 STORE count_total INTO '$ DT / count_total';
 STORE top_ip INTO '$ DT / top_ip';
 STORE top_req INTO '$ DT / top_req'; 

प्रत्येक स्क्रिप्ट निष्पादन के परिणामों को एक अलग निर्देशिका में सहेजना बेहतर है, जिनमें से नाम निष्पादन की तारीख और समय शामिल है। ऐसा करने के लिए, आप फ़ंक्शन का उपयोग सीधे एक अनियंत्रित शेल कमांड को पिग स्क्रिप्ट से करने के लिए कर सकते हैं (आपको इसे बैकक्वाटर में लिखने की आवश्यकता है)। उदाहरण में, दिनांक आदेश का परिणाम डीटी चर में संग्रहीत किया जाता है, जिसे बाद में डेटा स्टोरेज पथ में प्रतिस्थापित किया जाता है। परिणाम को STORE कमांड से सेव करें: प्रत्येक रिलेशन अपनी निर्देशिका में है।

आप ह्यू में फ़ाइल प्रबंधक के माध्यम से आउटपुट देख सकते हैं; डिफ़ॉल्ट रूप से, HDFS का पथ स्क्रिप्ट लॉन्च करने वाले उपयोगकर्ता की होम निर्देशिका के सापेक्ष है।



कार्य के परिणामों की जानकारी सुअर लॉग में प्रदर्शित की जाएगी:

  http: // cdh3: 8888 / pig / # लॉग / 1100715
 इनपुट:
 184442722 रिकॉर्ड्स (32427523128 बाइट्स) को सफलतापूर्वक पढ़ें: "/ लॉग / फ़्लुम / ईवेंट / पार्ट 1/2/201

 आउटपुट:
 सफलतापूर्वक 1 रिकॉर्ड (10 बाइट्स) में संग्रहीत: "hdfs: // cdh3: 8020 / user / admin / 140225T1205 / count_total"
 सफलतापूर्वक संग्रहीत 8168550 रिकॉर्ड (1406880284 बाइट्स) में: "hdfs: // cdh3: 8020 / user / admin / 140225T1205 / top_req"
 2944212 रिकॉर्ड्स (49039769 बाइट्स) को सफलतापूर्वक संग्रहीत किया गया: "hdfs: // cdh3: 8020 / user / admin / 140225T1205 / top_ip"

 काउंटर:
 कुल रिकॉर्ड लिखा: 11112763
 कुल बाइट्स लिखा: 1455920063 

ओजी से रिपोर्ट:

  अंतिम संशोधित मंगल, 25 फरवरी 2014 00:22:00
 प्रारंभ समय मंगल, 25 फरवरी 2014 00:05:16
 निर्मित समय मंगल, 25 फरवरी 2014 00:05:15
 एंड टाइम ट्यू, 25 फरवरी 2014 00:22:00 

दिए गए लॉग से यह देखा जाता है कि परीक्षण कार्य करते समय, 180 मिलियन से अधिक रिकॉर्ड 32 जीबी से अधिक की कुल मात्रा के साथ संसाधित किए गए थे। पूरी प्रसंस्करण प्रक्रिया में लगभग 15 मिनट लगे।

मैप के सक्रिय चरण के दौरान, 22 प्रोसेसर कोर और 91 जीबी रैम शामिल थे। पांच साल पहले तीन सर्वरों वाले एक छोटे क्लस्टर के लिए, इस परिणाम को काफी अच्छा माना जा सकता है।

यह ऊपर कहा गया था कि स्क्रिप्ट के निष्पादन के दौरान सुअर MapReduce कार्य बनाता है और उन्हें MR क्लस्टर में निष्पादन के लिए भेजता है। यह प्रक्रिया स्पष्ट रूप से क्लाउड प्रबंधक प्रबंधक पैनल में आँकड़े ग्राफ़ में दिखाई गई है:

1. मानचित्र चरण: प्रत्येक नोड पर प्रोसेसर और डिस्क अपने डेटा भागों को संसाधित करने में व्यस्त हैं।
2. चरण कम करें: पहले चरण में प्राप्त परिणाम नेटवर्क पर संचरित होते हैं और संयुक्त होते हैं।
3. तीसरे चरण में, परिणाम फ़ाइल सिस्टम में सहेजे जाते हैं (ग्राफ़ एचडीएफएस में रिकॉर्डिंग में एक कूद दिखाता है)।

ग्राफ़ पर आप देख सकते हैं कि समस्या के समाधान में दो पास मैप्रेड्यूस शामिल हैं। पहले पास के दौरान, अद्वितीय रिकॉर्ड गिने जाते थे, और दूसरे पास के दौरान, छँटाई की जाती थी। इन प्रक्रियाओं को एक पास में नहीं किया जा सकता है और न ही किया जा सकता है, क्योंकि दूसरी प्रक्रिया पहले के परिणामों के साथ काम करती है।

निष्कर्ष

इस लेख में, हमने MapReduce की वास्तुकला के बारे में बात की, और सुअर उपकरण का उपयोग करके इसके काम की विशेषताओं की भी जांच की। MapReduce के लिए प्रोग्राम लिखना एक बहुत ही मुश्किल काम है जिसके लिए एक विशेष दृष्टिकोण की आवश्यकता होती है। हालांकि, सभी कठिनाइयों, बिजली, स्केलेबिलिटी और मनमानी डेटा के विशाल मात्रा में प्रसंस्करण की उच्च गति से मुआवजा दिया जाता है।

निकट भविष्य में हम Hadoop के बारे में लेखों की एक श्रृंखला जारी रखने की योजना बना रहे हैं। अगला प्रकाशन इम्पाला डेटाबेस के साथ काम करने के लिए समर्पित होगा।

जो पाठक हबेरा की पोस्ट पर टिप्पणी करने में सक्षम नहीं हैं, उनका हमारे ब्लॉग पर स्वागत है।