Apache Hadoop (ADD-2010 में व्लादिमीर क्लिमोंटोविच की रिपोर्ट)

हम आपके ध्यान में व्लादिमीर क्लिमोंटोविच की रिपोर्ट प्रस्तुत करते हैं जो उनके द्वारा एप्लिकेशन डेवलपर डेज कॉन्फ्रेंस में किया गया था जिसमें उन्होंने VERY BIG डेटा वॉल्यूम को संसाधित करने और NOSQL दृष्टिकोण के उपयोग, विशेष रूप से Apache Hadoop में इसके लिए अपना अनुभव साझा किया था।



नीचे रिपोर्ट + वीडियो + ऑडियो और प्रस्तुति स्लाइड का पाठ संस्करण है। रिपोर्ट की प्रस्तुति पर काम करने के लिए विश्वास करने के लिए धन्यवाद।


मुद्दे का इतिहास ।

• अधिक डेटा को संसाधित करने की समस्या अधिक प्रासंगिक क्यों हो रही है (विभिन्न क्षेत्रों में डेटा की मात्रा में वृद्धि का एक उदाहरण)।
• MapReduce प्रतिमान के बारे में Google का एक लेख। प्रतिमान का संक्षिप्त विवरण।
• आसन्न क्षेत्रों का संक्षिप्त विवरण (वितरित फ़ाइल सिस्टम, बिगटेबल-जैसे भंडारण)।
• इतिहास और अपाचे Hadoop मंच का संक्षिप्त विवरण।

उपयोग के उदाहरण ।

• तीन अलग-अलग क्षेत्रों में हैडऑप प्लेटफॉर्म का उपयोग करना: last.fm (बिल्डिंग चार्ट्स), ऑनलाइन-एडवरटाइजिंग (बिल्डिंग आंकड़े), याहू (बिल्डिंग सर्च इंडेक्स)।
• उपरोक्त प्रत्येक समस्या के लिए पारंपरिक दृष्टिकोण (SQL डेटाबेस) और Hadoop का उपयोग करने का दृष्टिकोण। SQL / Hadoop दृष्टिकोण के फायदे और नुकसान
• MapReduce नौकरियों में SQL प्रश्नों के कुछ उपप्रकार का अनुवाद करने का सामान्य सिद्धांत।

Hadoop के शीर्ष पर बने प्लेटफार्म ।

• Hadoop के शीर्ष पर निर्मित Hive और Pig ETL ढांचे का संक्षिप्त विवरण।
• उपयोग के उदाहरण (उदाहरण के लिए, facebook.com और याहू); मानक एसक्यूएल दृष्टिकोण के साथ तुलना

Apache Hadoop का उपयोग करते समय रीयल-टाइम डेटा एक्सेस की समस्या ।

• ऐसे मामलों के विवरण जब वास्तविक समय की आवश्यकता होती है, और जब नहीं।
• वास्तविक समय के साथ सरल समस्याओं को हल करने का विवरण: मेमोरी में कैशिंग (मेमस्ड), SQL के साथ सहजीवन
• एक उदाहरण के रूप में HBase का उपयोग कर बिगबाइट जैसे डेटाबेस के साथ सहजीवन। HBase का संक्षिप्त विवरण।

एक प्रवृत्ति के रूप में Hadoop ।

• Hadoop का उपयोग करके तकनीकी और व्यावसायिक मुद्दों का संक्षिप्त अवलोकन
• Hadoop और NoSQL दृष्टिकोण के आसपास प्रचार। ऐसे मामलों का विवरण जब SQL सुविधाजनक हो।

वीडियो

प्रदर्शन समस्याओं के मामले में, आप लिंक का उपयोग कर सकते हैं।

ऑडियो
रिपोर्ट का ऑडियो संस्करण यहां उपलब्ध है ।

रिपोर्ट प्रस्तुत करना
रिपोर्ट की प्रस्तुति यहां उपलब्ध है ।

डेटा वॉल्यूम

तो, ताकि आप कल्पना कर सकें कि यह किस बारे में है, डेटा की कौन सी मात्रा है। उदाहरण के लिए, फेसबुक कंपनी, जो हर किसी के लिए जानी जाती है, शायद हर कोई वहां प्रोफाइल रखता है, इस सामाजिक नेटवर्क में प्रति दिन 40 डेटा का नया टेराबाइट है - फ़ोटो, पोस्ट, टिप्पणियां, फिर से, लॉग फ़ाइल सरल है - पृष्ठ छापें और बहुत कुछ।

हमारे पास अगला - फिर से, न्यूयॉर्क स्टॉक एक्सचेंज - प्रति दिन लेनदेन का एक टेराबाइट, लेनदेन पर डेटा, शेयरों की खरीद और बिक्री, और बहुत कुछ है।

लार्ज एंडरॉन कोलाइडर : यह प्रति दिन चालीस टेराबाइट के प्रायोगिक डेटा के बारे में है, कणों की गति और स्थिति के बारे में जानकारी, और बहुत कुछ।

और एक उदाहरण के लिए, ताकि आप कल्पना करें कि छोटी कंपनियों में क्या हो रहा है - कॉन्टेक्स्टवेब एक छोटी अमेरिकी कंपनी है, जिसमें मैं वास्तव में काम करता हूं, जो ऑनलाइन विज्ञापन में लगी हुई है, पूरी तरह से एक छोटी सी कंपनी है जिसमें बहुत कम प्रतिशत बाजार में है, यह लॉग के 115 गीगाबाइट है प्रति दिन प्रासंगिक विज्ञापन प्रदर्शित करें। इसके अलावा, ये केवल पाठ फ़ाइलें नहीं हैं, वे संकुचित डेटा के 115 गीगाबाइट हैं, अर्थात्। वास्तव में, संभवतः बहुत अधिक डेटा है।

DFS / MapReduce

सवाल उठता है, वास्तव में उनके साथ क्या करना है? क्योंकि आपको किसी तरह उन्हें संभालने की जरूरत है। अपने आप में, डेटा की इतनी मात्रा किसी के लिए कोई दिलचस्पी नहीं है और बहुत बेकार हैं।

Google द्वारा इस राशि के डेटा को संभालने का एक तरीका खोजा गया था। 2003 में, Google ने वितरित फ़ाइल सिस्टम के बारे में एक अच्छी तरह से ज्ञात लेख जारी किया कि वे डेटा और इंडेक्स, उपयोगकर्ता डेटा और अधिक अंदर कैसे संग्रहीत करते हैं।

2004 में, फिर से, Google ने एक लेख जारी किया जिसमें डेटा के ऐसे वॉल्यूम को संसाधित करने के प्रतिमान का वर्णन किया गया है, जिसे MapReduce कहा जाता है।

वास्तव में, यह वही है जिसके बारे में मैं अभी बात करने जा रहा हूं, यह सामान्य रूप से कैसे व्यवस्थित किया जाता है, और यह अपाचे हाडोप प्लेटफॉर्म में कैसे लागू किया जाता है।

वितरित एफ.एस.

वितरित फ़ाइल सिस्टम - यह सब क्या है? डिस्ट्रीब्यूटेड फाइलसिस्टम को कौन से कार्य सौंपे गए हैं?

• सबसे पहले, यह बड़ी मात्रा में डेटा का भंडारण है - किसी भी आकार की फाइलें ...
• दूसरे, यह सिर्फ पारदर्शिता है, हम इस फाइल सिस्टम के साथ एक नियमित फाइल सिस्टम के रूप में काम करना चाहते हैं - हम फाइलें खोलना चाहते हैं, वहां कुछ लिखना चाहते हैं, फाइलें बंद करना चाहते हैं, और यह नहीं सोचते कि यह कुछ विकृत और बड़ा है।
• हम भी चाहते हैं ... एक और आवश्यकता स्केलेबिलिटी है। हम एक क्लस्टर पर फ़ाइलों को संग्रहीत करना चाहते हैं और इसे आसानी से स्केल करते हैं। उदाहरण के लिए, हमारा व्यवसाय दोगुना हो गया है, इसने डेटा की मात्रा को दोगुना कर दिया है, मैं चाहता हूं कि यह वास्तुकला में निश्चित बदलाव के बिना, डेटा को दो बार स्टोर करने के लिए, बस दो बार कई मशीनों को जोड़कर।
• और विश्वसनीयता भी। यानी हमारे पास एक क्लस्टर है, चलो एक सौ मशीनों से कहते हैं, यह क्रम से बाहर है, कहते हैं, पांच, इसके लिए यह आवश्यक है कि हमारे लिए किसी का ध्यान न दिया जाए - फ़ाइलों के सुलभ होने के लिए, हमारे लिए पढ़ने और लिखने के लिए, हाँ, शायद थोड़ा सा प्रदर्शन के साथ, लेकिन काम करने के लिए सब कुछ जब तक इन पांच कारों पर ध्यान नहीं दिया जाता।

डीएफएस: वास्तुकला

कड़ाई से कहा, यह कैसे लागू किया जाता है। एक छोटा शेड्यूल है, शायद यह दिखाई नहीं दे रहा है, लेकिन सामान्य तौर पर यह दिखाई देता है, हाँ।



मशीनों का एक समूह है, जिनमें से कई हैं, जिन पर डेटा संग्रहीत है। मास्टर नोड नामक एक मशीन है, जो सब कुछ समन्वय करती है।

मास्टर नोड पर क्या संग्रहीत है? मास्टर नोड बस एक फ़ाइल तालिका संग्रहीत करता है। फ़ाइल सिस्टम की संरचना, प्रत्येक फ़ाइल को ब्लॉक में विभाजित किया गया है, जिस पर विशेष क्लस्टर मशीनें, जो फ़ाइलों के ब्लॉक संग्रहीत हैं।

लिखना और पढ़ना कैसा है? हम किसी प्रकार की फ़ाइल को पढ़ना चाहते हैं, हम मास्टर नोड से पूछते हैं कि ऐसी फ़ाइल के ब्लॉक कहाँ संग्रहीत हैं, वह हमें बताता है कि कौन सी मशीन विशिष्ट ब्लॉकों को संग्रहीत करती है, और हम पहले से ही क्लस्टर मशीनों से सीधे पढ़ रहे हैं।

रिकॉर्डिंग के साथ एक ही बात, हम मास्टर नोड से पूछते हैं कि कहां लिखना है, जिसमें विशिष्ट ब्लॉक, जिसमें विशिष्ट मशीनें, वह हमें बताता है, और हम सीधे वहां रिकॉर्ड करते हैं।

और विश्वसनीयता सुनिश्चित करने के लिए, प्रत्येक इकाई को कई प्रतियों में, कई मशीनों पर संग्रहीत किया जाता है। यह विश्वसनीयता सुनिश्चित करता है, भले ही, उदाहरण के लिए, क्लस्टर में 10% मशीनें विफल हों, हम शायद कुछ भी नहीं खो देंगे। यानी हां, हम कुछ ब्लॉक खो देंगे, लेकिन चूंकि ये ब्लॉक कई प्रतियों में संग्रहीत हैं, इसलिए हम फिर से पढ़ सकते हैं और लिख सकते हैं

विन्यास

एक विशिष्ट कॉन्फ़िगरेशन, जो, उदाहरण के लिए, हमारी कंपनी में उपयोग किया जाता है। उदाहरण के लिए, बड़ी मात्रा में डेटा संग्रहीत करने के लिए, हमारी कंपनी में यह 70 टेराबाइट्स है, जिसे हम नियमित रूप से विश्लेषण करते हैं, हम इसके साथ कुछ करने जा रहे हैं, यह लगभग चालीस मशीनें हैं, प्रत्येक मशीन एक कमजोर सर्वर है, यदि आप उद्योग को देखते हैं, तो यह कहीं है 16 गीगाबाइट्स RAM या 8 गीगाबाइट्स, एक टेराबाइट ड्राइव, कोई RAID, बस एक नियमित ड्राइव।

कुछ इंटेल Xeon, सामान्य तौर पर, कुछ प्रकार के सस्ते सर्वर। ऐसे चालीस सर्वर भी हैं, और यह आपको इस तरह के डेटा को संग्रहीत करने की अनुमति देता है, कहते हैं, सैकड़ों टेराबाइट्स।

MapReduce

सभी फ़ाइलों को वितरित फ़ाइल सिस्टम पर संग्रहीत करने के बाद, सवाल यह है कि उन्हें कैसे संसाधित किया जाए। इसके लिए Google ने MapReduce नामक एक प्रतिमान का आविष्कार किया। वह बहुत अजीब लग रहा है। यह तीन ऑपरेशन में डेटा प्रोसेसिंग है।

पहला ऑपरेशन ..., हमारे पास कुछ इनपुट डेटा हैं, उदाहरण के लिए, कुछ इनपुट रिकॉर्ड का एक सेट।

पहला ऑपरेशन, जिसे मैप कहा जाता है, जो प्रत्येक इनपुट रिकॉर्ड के लिए हमें "कुंजी → मूल्य" की एक जोड़ी देता है। उसके बाद, अंदर, इन कुंजी-मूल्य जोड़े को समूहीकृत किया जाता है, प्रत्येक कुंजी, जब हम सभी इनपुट रिकॉर्ड को संसाधित करते हैं, तो कई मान हो सकते हैं। उन्हें समूहीकृत किया जाता है, और रिड्यूस प्रक्रिया को जारी किया जाता है, जो कुंजी प्राप्त करता है, और तदनुसार, मूल्यों का सेट, और अंतिम अंतिम परिणाम उत्पन्न करता है।

इस प्रकार, हमारे पास पहले से ही कुछ इनपुट रिकॉर्ड का एक सेट है, उदाहरण के लिए, ये लॉग फ़ाइल में लाइनें हैं, और हमें आउटपुट रिकॉर्ड के कुछ सेट मिलते हैं।

यह सब काफी अजीब लग रहा है, जैसे कुछ अति विशिष्ट चीज, जैसे कार्यात्मक प्रोग्रामिंग से कुछ, यह तुरंत स्पष्ट नहीं है कि यह व्यापक अभ्यास में कैसे लागू किया जा सकता है।

उदाहरण

वास्तव में, यह बहुत अच्छी तरह से सामान्य व्यवहार में लागू किया जा सकता है।

सबसे सरल उदाहरण है। मान लीजिए कि हम एक फेसबुक कंपनी हैं, हमारे पास बहुत सारा डेटा है, ... ठीक है, बस फेसबुक पर लॉग पेज दिखाते हैं। और आपको गणना करने की आवश्यकता है कि कौन सा ब्राउज़र उपयोग करता है।

MapReduce प्रतिमान का उपयोग करना बहुत आसान है।

हम एक मैप ऑपरेशन को परिभाषित करते हैं, जो एक्सेस लॉग में एक लाइन द्वारा, एक कुंजी-मूल्य को परिभाषित करता है, जहां कुंजी एक ब्राउज़र है और मूल्य सिर्फ एक है।

उसके बाद, यह रिड्यूस ऑपरेशन करने के लिए बना रहता है, जो कि ब्राउज़र के सेट और लोगों के सेट के आधार पर, बस योग करता है, और आउटपुट में यह प्रत्येक ब्राउज़र के लिए प्राप्त राशि को देता है।

हम इस MapReduce कार्य को एक क्लस्टर पर चलाते हैं, शुरुआत में हमारे पास कई, कई लॉग फाइलें होती हैं, अंत में हमारे पास एक ऐसी छोटी फ़ाइल होती है जिसमें हमारे पास एक ब्राउज़र होता है, और तदनुसार, छापों की संख्या। इस तरह हमें आंकड़े मिलते हैं।

समानता

यह अच्छा क्यों है, MapReduce

इस तरह के कार्यक्रम, जब हम मैप सेट करते हैं और कम करते हैं, तो वे बहुत अच्छी तरह से समानांतर होते हैं।

मान लें कि हमारे पास किसी प्रकार का इनपुट है, यह एक बड़ी फ़ाइल है, या फ़ाइलों का सेट है, इस फ़ाइल को कई, कई छोटे टुकड़ों में विभाजित किया जा सकता है, उदाहरण के लिए, क्लस्टर में मशीनों की संख्या, या अधिक। तदनुसार, प्रत्येक टुकड़े पर हम अपना मैप फ़ंक्शन चलाएंगे, यह समानांतर में किया जा सकता है, यह सभी क्लस्टर पर शुरू होता है, यह चुपचाप गणना की जाती है, प्रत्येक नक्शे का परिणाम अंदर सॉर्ट किया जाता है, और रिड्यूस के लिए भेजा जाता है।

एक ही बात, जब हमारे पास किसी तरह के मैप, बहुत सारे डेटा का परिणाम होता है, तो हम फिर से इस डेटा को टुकड़ों में तोड़ सकते हैं, फिर से कई मशीनों पर एक क्लस्टर पर चला सकते हैं।

इसके लिए धन्यवाद, स्केलेबिलिटी हासिल की जाती है। जब हमें डेटा को दो बार तेजी से संसाधित करने की आवश्यकता होती है, तो हम बस दो बार कई मशीनों को जोड़ते हैं, लोहा अब अपेक्षाकृत सस्ता है, अर्थात। बिना किसी वास्तु परिवर्तन के हमें दोगुनी उत्पादकता प्राप्त होती है।

अपाचे हडॉप था

अपाचे Hadoop - यह क्या है? Google ने इन लेखों को प्रकाशित करने के बाद, सभी ने फैसला किया कि यह एक बहुत ही सुविधाजनक प्रतिमान था, विशेष रूप से, अपाचे हडोप परियोजना उत्पन्न हुई। उन्होंने बस यह तय किया कि वितरित लेख प्रणालियों के बारे में इन लेखों में क्या लिखा गया था और MapReduce प्रतिमान को एक ओपन-सोर्स जावा प्रोजेक्ट के रूप में लागू किया गया था।

यह 2004 में वापस शुरू हुआ, जब लोग एक खुला खोज इंजन, नच लिखना चाहते थे, जिसके बाद, 2005 के आसपास, अपाचे हडोप एक वितरित परियोजना प्रणाली और MapReduce प्रतिमान के कार्यान्वयन के रूप में, एक अलग परियोजना के रूप में इसे से बाहर खड़ा था। पहले यह एक छोटी परियोजना थी, बहुत स्थिर नहीं थी, 2006 में कहीं, याहू ने अपनी परियोजनाओं में Hadoop का उपयोग करने की कोशिश शुरू की, और 2008-2009 में, याहू ने अपनी खोज शुरू की, या बल्कि, खोज नहीं, बल्कि अनुक्रमण किया, जो पूरी तरह से व्यवस्थित था Apache Hadoop प्लेटफॉर्म, और अब Yahoo Apache Hadoop प्लेटफॉर्म का उपयोग करके इंटरनेट को इंडेक्स कर रहा है। इंडेक्स एक वितरित फ़ाइल सिस्टम में संग्रहीत किया जाता है, और इंडेक्स का निर्माण स्वयं मैप-रिड्यूस कार्यों की एक श्रृंखला के रूप में किया जाता है।

हां, फिर से, हाल ही में Hadoop ने एक डेटा सॉर्टिंग प्रतियोगिता जीती है, ऐसी "1TB सॉर्ट प्रतियोगिता" है जब कुछ लोग इकट्ठा होते हैं और डेटा के एक टेराबाइट को तेजी से सॉर्ट करने का प्रयास करते हैं। Apache Hadoop के आधार पर बनाया गया एक सिस्टम जो नियमित रूप से Yahoo क्लस्टर पर चलता है, जीतता है।

Hadoop मॉड्यूल

Hadoop में दो मॉड्यूल होते हैं। यह वितरित फ़ाइल सिस्टम प्रतिमान का एक कार्यान्वयन है जिसे HDFS और MapReduce कहा जाता है, अर्थात MapReduce ढांचा कार्यान्वयन।

याहू: वेब ग्राफ

यहाँ कुछ और उदाहरण दिए गए हैं कि कैसे याहू Hadoop का उपयोग कर रहा है। उदाहरण के लिए, पूरे इंटरनेट का ग्राफ बनाने के लिए याहू की जरूरत है। हमारे पास पृष्ठ लंबवत होंगे, यदि एक पृष्ठ से दूसरे में कोई लिंक है, तो यह ग्राफ़ में एक किनारे होगा, और इस किनारे को लिंक टेक्स्ट के साथ चिह्नित किया गया है।

उदाहरण के लिए, याहू यह कैसे करता है। यह कार्यों के मानचित्र-कटौती श्रृंखला से भी है। सबसे पहले, याहू उन सभी पृष्ठों को डाउनलोड करता है जिन्हें वे अनुक्रमण में रुचि रखते हैं, और उन्हें फिर से, एचडीएफएस में संग्रहीत करता है। इस तरह के एक ग्राफ का निर्माण करने के लिए, नक्शा-कम करने का कार्य शुरू किया गया है।

तो, मैप, हम सिर्फ पृष्ठ लेते हैं, और यह देखते हैं कि यह कहां लिंक करता है, और बस इसे कुंजी, लक्ष्य URL, अर्थात। जहाँ पृष्ठ संदर्भित करता है, मूल्य → SourceURL, i.e. जहां हम लिंक और लिंक पाठ करते हैं।

इन सभी जोड़ियों को कम करें, ... यह कुंजी प्राप्त करता है, यह टारगेट और मानों का एक सेट है, अर्थात SourceURL और ग्रंथों का सेट कुछ प्रकार के फ़िल्टरिंग करता है, क्योंकि हमारे पास स्पष्ट रूप से कुछ स्पैम लिंक हैं, जिन्हें हम अनुक्रमित नहीं करना चाहते हैं, और यह एक तालिका के रूप में सभी को लौटाता है - TargetURL, SourceURL और पाठ।



ऐसी तालिका संपूर्ण इंटरनेट का ग्राफ़ है।

Last.fm

फिर Last.fm, शायद बहुत से लोग इसका उपयोग करते हैं, जो लोग इसका उपयोग नहीं करते हैं - मैं थोड़ा समझाता हूं। यह एक ऐसी सेवा है, आप अपने iTunes या WinAmp में प्लग-इन डालते हैं, यह आपको वास्तविक समय में लास्ट में सुनता है। इसके बाद Last.fm दो काम करता है - उदाहरण के लिए, यह इस तरह के सुंदर चार्ट बनाता है , यानी। पिछले सात दिनों या तीन महीनों के लिए, आपने कौन से बैंड सुने, आपके गाने क्या हैं, और क्या किसी तरह का है? आपके द्वारा सुने गए गानों के आंकड़ों के आधार पर, वे आपके लिए कुछ और सुझाते हैं, आपके लिए कुछ नया और दिलचस्प है, कुछ ऐसा जिसमें आप रुचि रखने वाले हों। अगर किसी ने गौर किया, तो ये चार्ट-एस, वे वास्तविक समय में अपडेट नहीं होते हैं, दिन में एक बार, मुझे सामान्य रूप से, आमतौर पर याद नहीं होता है।

दरअसल ये चार्ट, वे फिर से, अपाचे Hadoop प्लेटफॉर्म पर बनाए गए हैं। जब आप किसी रचना को सुनते हैं, तो लॉग फ़ाइल में एक पंक्ति लिखी जाती है, "ऐसे और इस तरह के पहचान वाले उपयोगकर्ता ने ऐसे और ऐसे समूह की ऐसी रचना सुनी है।" उसके बाद, मैप-रिड्यूस कार्य दिन में एक बार लॉन्च किया जाता है। वह कैसी दिखती है?

• इनपुट इन श्रवण की लॉग फ़ाइल है।
• नक्शा ऐसा दिखता है - हम इस लॉगफ़ाइल, उसके पार्सिम से एक लाइन लेते हैं, और एक कुंजी के रूप में हम "उपयोगकर्ता और समूह" की एक जोड़ी देते हैं, और मूल्य के रूप में - एक।
• तदनुसार, तब यह सब "उपयोगकर्ता और समूह" की एक जोड़ी के रूप में और इकाइयों के एक सेट के मूल्य के साथ कम हो जाता है, और "उपयोगकर्ता-समूह और नाटकों की संख्या" के रूप में एक फ़ाइल में सब कुछ के अंत में लिखा जाता है।

उसके बाद, जब आप अपने पृष्ठ पर जाते हैं, तो यह फ़ाइल पार्स होती है, आपसे संबंधित एक रिकॉर्ड होता है, और ऐसा चार्ट तैयार किया जाता है जो अंतिम स्लाइड पर था।

एसक्यूएल

वास्तव में, एसक्यूएल प्रश्नों की एक बड़ी संख्या को आसानी से समान किया जा सकता है ..., आसानी से मैप-रिड्यूस कार्यों के रूप में व्यक्त किया जा सकता है। उदाहरण के लिए, मानक एसक्यूएल, कई लिखते हैं, कई इसका उपयोग करते हैं - खेतों का एक सेट, एफ 1, एफ 2, योग, जहां, कुछ स्थिति और समूह द्वारा।

यानी यह एक मानक SQL क्वेरी है, जिसका उपयोग रिपोर्ट और कुछ आँकड़े बनाने के लिए बहुत किया जाता है।

इसलिए, इस तरह के अनुरोध को मानचित्र-कम के रूप में आसानी से समानांतर किया जाता है। एक टेबल के बजाय, मान लें कि हमारे पास डेटा स्टोरेज के रूप में एक टेक्स्ट फाइल है। SQL के बजाय, हमारे पास मैप-कम है। क्वेरी परिणामों के बजाय, हमारे पास एक पाठ फ़ाइल है।

वास्तव में, यह कैसे काम करता है।

नक्शा प्रक्रिया। इनपुट के रूप में, हमारे पास लॉग फ़ाइल में लाइनें हैं, आउटपुट के रूप में, हम इस लाइन को एक कुंजी के रूप में पार्स करते हैं, फ़ील्ड जो हमारे द्वारा समूह के रूप में रुचि रखते हैं, और मान के रूप में, इस क्षेत्र में हम एकत्रित करते हैं हम राशि पर विचार करते हैं a।

कम करें वास्तव में इन फ़ील्ड्स को मान के रूप में प्राप्त होता है, मानों के रूप में, फ़ील्ड्स का एक सेट जो हम एकत्र करते हैं, अर्थात। कुछ A1, .... एक, और सिर्फ योग करता है।

वास्तव में यह सब है, हमने क्लस्टर पर ऐसी मानचित्र-कम करने की प्रक्रियाएं निर्धारित कीं और इस अनुरोध के परिणाम प्राप्त किए।

एसक्यूएल: सिद्धांत

वास्तव में, कई एसक्यूएल प्रश्नों को समानांतर किया जा सकता है ..., मानचित्र-कम करने की नौकरी के संदर्भ में व्यक्त किया जा सकता है।

यदि हमारे पास GROUP BY है, तो हम उन क्षेत्रों को परिभाषित करते हैं, जिनके द्वारा हम मानचित्र प्रक्रिया में कुंजी के रूप में GROUP BY करते हैं।

जहां मानचित्र प्रक्रिया में सिर्फ फ़िल्टरिंग है।

फिर से, हम सभी राशियों, एवीजी और अन्य कुल कार्यों को कम करने के चरण पर विचार करते हैं।

स्थिति, पर नियंत्रण, और बहुत आसानी से लागू कर रहे हैं।

एसक्यूएल: विभाजन

विभाजन के बारे में थोड़ा। जब हम डेटा को इस तरह से प्रोसेस करते हैं, तो हम कहते हैं, उसी लास्ट में। हम इन आंकड़ों का निर्माण करते हैं, हमारे पास एक फाइल में संग्रहीत डेटा होता है, अगर हम हर बार होने वाली सभी फाइलों पर मैप-कम करने वाले जॉब चलाते हैं, तो यह बहुत ही अच्छा होगा। लंबा और गलत।

आमतौर पर, विभाजन का उपयोग डेटा के लिए किया जाता है, उदाहरण के लिए, तिथि के अनुसार। यानी हम सब कुछ एक ही लॉग फ़ाइल में संग्रहीत नहीं करते हैं, लेकिन इसे घंटे या दिन तक तोड़ देते हैं। फिर, जब हम MapReduce नौकरियों के लिए हमारी SQL क्वेरी को मैप करते हैं, तो हम पहले इनपुट डेटा के सेट को ..., वास्तव में, फ़ाइल द्वारा प्रतिबंधित करते हैं। मान लीजिए कि अगर हम आखिरी दिन के लिए डेटा में रुचि रखते हैं, तो हम केवल आखिरी दिन के लिए डेटा लेते हैं, और उसके बाद ही मैप-कम-जॉब चलाते हैं।

अपाचे हाइव

दरअसल, यह सिद्धांत अपाचे हाइव परियोजना में लागू किया गया है, यह एक ऐसा ढांचा है, जो होडोप के आधार पर बनाया गया है।

उपयोगकर्ता के दृष्टिकोण से यह सब कैसा दिखता है? हम कुछ SQL-क्वेरी पूछते हैं, यह निर्धारित करते हैं कि हमारे पास डेटा कहां है, उसके बाद, यह फ्रेमवर्क इस SQL-क्वेरी को मैप-कम करने वाले कार्यों के रूप में व्यक्त करता है, एक या पूरे अनुक्रम के रूप में, उन्हें शुरू करता है ..., उपयोगकर्ता के लिए सब कुछ बहुत पारदर्शी दिखता है।

यानी हमने इनपुट डेटा के सेट को निर्धारित किया, SQL क्वेरी को सेट किया, और हमें किसी प्रकार की तालिका भी मिली।

अपाचे सुअर

दूसरा ढांचा, अपाचे पिग , एक ही है, मोटे तौर पर, यह एक ही समस्या को हल करता है, अर्थात। किसी भी कोड को लिखे बिना, मानचित्र-कम करने वाली नौकरियों के उपयोगकर्ता के अनुकूल निर्माण।

हम इस ईटीएल भाषा में उस अनुक्रम को पूछते हैं जो हम चाहते हैं, जहां से हम कुछ लोड करना चाहते हैं, हम इस डेटा को कैसे फ़िल्टर करेंगे, हम किस कॉलम में रुचि रखते हैं और यह सब मानचित्र-कम करने वाली नौकरियों में अनुवादित है।

आवेदन क्षेत्रों

कड़ाई से बोलना, गुंजाइश, इस Hadoop और अन्य चीजों के सभी।

Hadoop का उपयोग सांख्यिकीय मॉडल बनाने और डेटा विश्लेषण के लिए सामान्य रूप से किया जाता है।

यदि हमारे पास बहुत सी लॉग फाइलें हैं, तो हम किसी प्रकार के सहसंबंध को ढूंढना चाहते हैं, उपयोगकर्ता कैसे व्यवहार करता है, इस पर निर्भर करता है कि, ऐसे कार्यों को Hadoop की मदद से बहुत अच्छी तरह से हल किया जाता है, क्रमशः, रिपोर्ट का निर्माण, फिर से वही अंतिम अंतिम .fm है। जब हमारे पास बहुत अधिक डेटा होता है, और हमें कुछ प्रकार की रिपोर्ट बनाने की आवश्यकता होती है, तो हमें वास्तविक समय की आवश्यकता नहीं होती है, हम दिन में एक बार या कुछ घंटों में उन्हें अपडेट करने के लिए तैयार हैं, सब कुछ बहुत सुविधाजनक भी है।

गौरव

इस दृष्टिकोण के फायदे, इस मंच। बहुत अच्छी और चिकनी स्केलेबिलिटी। यानी , , . यानी , .

software. , Oracle, Oracle, , , startup-. , - , Oracle. Hadoop, open-source- Hadoop, .

Hadoop research-. , researcher, - , - , , hadoop , on-demand .

यानी - , , , , , , , - , .

, . research- , , , , , Amazon-.

: , ?

… . , , , , .

: …

, Hadoop- , , , . , , , , , , , .. - .

कमियों

Hadoop-?

-, . Hadoop-, , , Hadoop-, , , . यानी , .

- , . यानी - Oracle, - , , - -, SQL- - . , Hadoop, , -, , Java-, map-reduce job-.

, , , .

, real-time-. Hadoop real-time . - , , map-reduce job-, . , , background-, .

Real-Time?

real-tim . , . real-time , , , map-reduce job-, - , , , SQL- , MemCache, , , , .

… ?

, column-oriented , , realtime .

Column oriented databases

? SQL? SQL, MySQL , , , , .

SQL-, , , - ALTER TABLE, - . , , , … SQL, , , , .

, column-oriented database.

BigTable

, , , «BigTable», 2004 .

, BigTable?

.

, , , , , , rowkey, — primary key .

, , — , , .. , , .

BigTable:

, , . . , - , — - , - , - , … , . ? , Cookies, , , , . — cookie , , , , , , . BigTable?

, BigTable, cookie — . BigTable UserUID, , - , , , , , , .

वह अच्छा कैसे है? , . - , , UserID.

, , , . BigTable, userID, rowkey, , .

BigTable:

? , BigTable, . यानी rowkey, rowkey, , , , , rang- . यानी « -»? - , range- , , -, , , .

— → , , , , , , .

HBase

BigTable, Apache Hadoop, , HBase .

Hadoop Distributed File System, , Hadoop-, , - map-reduce job, - , , .. Reduce . Reduce , , HBase, , Hadoop, .

HBase:

, . , , — 16 8 , , 10 RPM, - Intel Xeon, .

, , 3-5 … 300 , - 18 , —— , - 10 . - MySQL . HBase .

HBase:

HBase, , BigTable ? , .. . , , join-, WHERE, , , , .

, HBase , , , , , , , .

Hadoop:

, , map-reduce , research, , , HBase BigTable…, , HBase-, , , , - , , , , , , , .

HBase , , , , . , , .… … ( ).

रिपोर्ट के उत्तर और उत्तर - वीडियो में देखे जा सकते हैं, ऑडियो में सुने जा सकते हैं (ऊपर देखें) या संदर्भ द्वारा पढ़ें ।