👨‍🏭 🚵🏽 🍄 माइक्रोसॉफ्ट ड्रायड बनाम अपाचे हडोप। बिग डेटा के लिए बड़ी लड़ाई 👩🏻‍✈️ ✅ 🏪

UPD: लेख का शीर्षक बदल दिया है, क्योंकि जब मैंने स्लीपवॉकर (एक मजाक, निश्चित रूप से) था, तब मैंने आखिरी शीर्षक लिखा था।

पिछले हफ्ते हैबे पर माइक्रोसॉफ्ट रिसर्च - ड्रायड से वितरित कंप्यूटिंग ढांचे पर 2 पोस्ट दिखाई दिए। विशेष रूप से, प्रमुख ड्रायड घटकों की अवधारणा और वास्तुकला - ड्रायड रनटाइम और ड्रायडलीनक्यू क्वेरी भाषा - का विस्तार से वर्णन किया गया था।

लेखों के ड्रायड श्रृंखला का तार्किक अंत एमपीपी डेवलपर्स से परिचित अन्य उपकरणों के साथ ड्रायड फ्रेमवर्क की तुलना है: रिलेशनल डीबीएमएस (समानांतर वाले सहित), जीपीयू कंप्यूटिंग, और हडोप प्लेटफॉर्म ।

गीतात्मक विषयांतर (या जब आप Microsoft उत्पादों के बारे में कुछ लिखते हैं)

श्रृंखला के अंतिम लेख में, मैंने नीचे सभी बिंदुओं का उल्लेख किया है। लेकिन चूंकि पाठक मेरे सभी लेखों को पढ़ने के लिए बाध्य नहीं है (और इससे भी ज्यादा कि मैंने जो लिखा है उसे याद रखने के लिए), मैं खुद को दोहराना उचित समझता हूं।

मैं प्रस्ताव नहीं करता , न ही हतोत्साहित करता हूं, मेरी शोध परियोजनाओं में ड्रायड का उपयोग (क्योंकि अब केवल एक शैक्षणिक लाइसेंस उपलब्ध है)।
ड्रायड ~~बुराई~~ निगम का "आंतरिक" उत्पाद है जिसे हम सभी जानते हैं, जिसका विकास [उत्पाद और बुराई] इस निगम का आंतरिक व्यवसाय है (जो काफी सच है)।

तथ्य यह है कि ड्रायड मालिकाना सॉफ्टवेयर है (मैं खुद के लिए बोलता हूं) इस मंच के सिद्धांतों और वास्तुकला का अध्ययन कम दिलचस्प या पेशेवर विकास (फिर से - अपने लिए) के लिए उपयोगी नहीं है। यदि आपके पास कुछ अलग है - तो ~~यह मेरे लिए नहीं है~~ यह विशेष रूप से आपके ऊपर है।

पहले भाग में, ड्रायड का एक उदाहरण के रूप में उपयोग करते हुए, हम वितरित कंप्यूटिंग चौखटे के फायदों का एक सामान्य अवलोकन देंगे जो डेवलपर्स को निचले स्तर के कंप्यूटिंग समांतरकरण उपकरण - एमपीआई और जीपीयू कंप्यूटिंग पर उच्च-स्तरीय अमूर्तता प्रदान करते हैं।

संदर्भ से अलगाव (जैसे, एक विशिष्ट कार्य) गलत है, लेकिन यह हमारे उद्देश्य के लिए स्वीकार्य है कि वितरित एप्लिकेशन निष्पादन ढांचे के उपयुक्त उपयोग के मामलों को दिखाया जाए।

दूसरे भाग में, आरडीबीएमएस और समानांतर डीबीएमएस के साथ तुलना की जाएगी। बेशक, प्रकाशन मात्रा MySQL के साथ और SQL सर्वर 2012 समानांतर डेटा वेयरहाउस (और क्यों?) के साथ अलग से Dryad की तुलना करने की अनुमति नहीं देता है। इसलिए, DBMS का "औसत तापमान अस्पताल में" विश्लेषण के लिए लिया गया था: हम संबंधपरक डेटाबेस पर आधारित समाधानों की सामान्य समस्याओं पर चर्चा करते हैं और डीबीएमएस की दुनिया में ड्रायड को सर्वश्रेष्ठ विचारों की निरंतरता के रूप में मानते हैं।

अंतिम भाग में, Hadoop सॉफ्टवेयर प्लेटफॉर्म के साथ एक तुलना की जाएगी (आप या तो उत्तरार्द्ध को नहीं जान सकते हैं या इसकी प्रशंसा कर सकते हैं)।

Hadoop 2 के बहुत फायदे हैं (बेशक, अधिक) - एक नया ढांचा (इसके बारे में अधिक बाद में), जो अपने स्वयं के वितरित एल्गोरिदम को लागू करने के लिए एक एपीआई प्रदान करता है, और एक समृद्ध पारिस्थितिकी तंत्र । विरोधाभासी रूप से, ये Hadoop के मुख्य नुकसान हैं: नए बीटा ढांचे (विकास की शुरुआत - 2008), और उद्यम खंड में Hadoop का उपयोग करके Hadoop पारिस्थितिकी तंत्र (स्थापना, प्रशिक्षण, समर्थन) से कई घटकों को स्थापित किए बिना कोई तुच्छ कार्य नहीं है।

इसलिए, ड्रायड की तुलना सादे हाडोप रिलीज शाखा और हाडोप इकोसिस्टम द्वारा प्रदान किए गए अवसरों पर एक अंतहीन नज़र के साथ होती है, और कैसे इस समस्या (यदि कोई है) को Hadoop v2.0 में हल किया जाएगा।

1. ड्रायड बनाम जीपीयू। ड्रायड बनाम एम.पी.आई.

ड्रायड के अकादमिक लाइसेंस को देखते हुए, मैं अनुसंधान के लिए गणना (मैं एक स्नातक छात्र हूं) में ड्रायड फ्रेमवर्क का उपयोग करने की संभावना में रुचि रखता हूं। लेकिन ऐतिहासिक रूप से, शैक्षणिक वातावरण में (मेरे विश्वविद्यालय के, निश्चित रूप से), "वैज्ञानिक कंप्यूटिंग" के लिए मुख्य मंच एमपीआई (संदेश पासिंग इंटरफ़ेस) और जीपीयू कंप्यूटिंग हैं।

MPI के विपरीत, ड्रायड प्लेटफ़ॉर्म एक साझा-कुछ नहीं आर्किटेक्चर पर आधारित है जिसमें डेटा साझा नहीं होता है (विभिन्न प्रक्रियाओं द्वारा) और, परिणामस्वरूप, सिंक्रनाइज़ेशन प्राइमेटिव्स का उपयोग करने की आवश्यकता नहीं होती है । यह ड्रायड क्लस्टर को न केवल संभावित रूप से अधिक मापनीय बनाता है, बल्कि समानांतर डेटा एल्गोरिदम का उपयोग करके समस्याओं को हल करने के लिए अधिक समय-कुशल भी है।

इसके अलावा, बुनियादी ढांचे के कार्य जैसे प्रदर्शन की निगरानी और असफलता आमतौर पर MPI डेवलपर की जिम्मेदारी होती है , जबकि ड्रायड में, सूचीबद्ध कार्य फ्रेमवर्क की जिम्मेदारी में होते हैं।

GPU कंप्यूटिंग के बारे में बात करते हुए, यह ध्यान देने योग्य है कि, Dryad के विपरीत, GPU विकास बहुत हार्डवेयर स्तर से संबंधित है जिस पर एप्लिकेशन चलता है। एनवीडिया और एएमडी अपने ग्राफिक्स कार्ड (सीयूडीए और एपीपी, क्रमशः) के लिए विकास के लिए अपने स्वयं के एसडीके प्रदान करते हैं। जाहिर है, ये विभिन्न विकास मंच हैं जो एक दूसरे के साथ असंगत हैं।

निगम ~~बुराई~~ Microsoft ने C ++ AMP को जारी करके GPU के लिए विकास प्रक्रिया को एकजुट करने का प्रयास किया। लेकिन यह तथ्य अतिश्योक्तिपूर्ण है कि GPU के तहत विकसित होने पर, डेवलपर को ग्राफिक्स एडॉप्टर के हार्डवेयर पर "पीछे मुड़कर देखना" चाहिए। इसके अलावा, हार्डवेयर स्तर की "जड़ें" कोड इतनी गहराई से प्रवेश करती हैं कि यह ग्राफिक्स कार्ड के मॉडल को बदलते समय एप्लिकेशन को लॉन्च करने में कठिनाइयों का कारण हो सकता है, न कि विक्रेता को बदलने का उल्लेख करने के लिए। स्वाभाविक रूप से, यह डिबगिंग में अतिरिक्त कठिनाइयाँ पैदा करता है और जब किसी विशिष्ट कार्य के लिए अधिक उत्पादक / उपयुक्त हार्डवेयर प्लेटफ़ॉर्म की ओर पलायन होता है।

यह सब, अंत में, शोधकर्ता को अनुसंधान विषय क्षेत्र के लागू मुद्दों को हल करने के बजाय हार्डवेयर, डिबगिंग, परिनियोजन और समर्थन से संबंधित बुनियादी ढांचे के मुद्दों से निपटने के लिए मजबूर करता है।

ड्राईड फ्रेमवर्क, GPU के विपरीत, वितरित अनुप्रयोगों के डेवलपर्स से हार्डवेयर स्तर को छुपाता है, हालांकि यह वितरित एप्लिकेशन को चलाने के लिए हार्डवेयर प्लेटफॉर्म के लिए काफी विशिष्ट आवश्यकताएं बनाता है (श्रृंखला के पहले लेख में आवश्यकताओं पर चर्चा की गई थी)।

2. ड्रायड बनाम समानांतर डीबी

ड्रायड और एक डीबीएमएस के बीच मुख्य मूलभूत अंतर भंडारण परतों, प्रदर्शन परत और ड्रायड के लिए सॉफ्टवेयर मॉडल और एक डीबीएमएस में इस तरह के कनेक्शन की उपस्थिति के बीच एक मजबूत संबंध की अनुपस्थिति है । इस अंतर का प्रदर्शन किया जाता है
परिचय में चित्रण ।

फिर भी, ड्राईड ने दुनिया के कई विचारों को पारंपरिक और समानांतर DBMS के "अवशोषित" कर लिया है।

कई समानांतर DBMS (Teradata, IBM DB2 पैरेलल एडिशन) की तरह, ड्रायड साझा-कुछ नहीं आर्किटेक्चर, शार्पिंग (क्षैतिज विभाजन), डायनामिक रीपार्टिशनिंग, विभाजन रणनीतियों का उपयोग करता है: हैश-विभाजन, रेंज विभाजन और राउंड-रॉबिन।

पारंपरिक DBMS की दुनिया से, क्वेरी ऑप्टिमाइज़र और निष्पादन योजना की अवधारणाओं को लिया गया था। इन अवधारणाओं को अत्यंत रूपांतरित किया गया है: ड्रायड्लिनक्यू अनुसूचक का परिणाम निष्पादन योजना ग्राफ है, जो कि नीतियों के आधार पर गतिशील रूप से परिवर्तित किया जाता है और आंकड़ों के निष्पादन के दौरान एकत्र किया जाता है।

सभी DBMS की तरह, ड्रायड एक डेटा क्वेरी भाषा का उपयोग करता है। ड्रायड में, क्वेरी लिखने के लिए भाषा की भूमिका ड्रायडलाइन क्वॉलिटी मॉडल द्वारा निभाई जाती है। लेकिन SQL के विपरीत, DryadLINQ:
+ मूल रूप से डेटा संरचनाओं और जटिल प्रकारों के साथ काम करने के लिए बनाया गया ;
+ एक उच्च-स्तरीय अमूर्तता है जो एक परत के साथ एक आवेदन परत को संबद्ध नहीं करता है
भंडारण;
+ सामान्य प्रोग्रामिंग पैटर्न , जैसे पुनरावृत्तियों के लिए मूल समर्थन है ;
- लेनदेन और अद्यतन कार्यों का समर्थन नहीं करता है।

इसके अलावा, SQL मशीन लर्निंग एल्गोरिदम का वर्णन करने के लिए मौलिक रूप से अनुपयुक्त है, तथ्यों (लॉग, जीनोमिक डेटाबेस) और ग्राफ़ विश्लेषण के अनुक्रमों को पार्स करता है। ड्रायड की तरह ही एल्गोरिदम पर आधारित समस्याओं को हल करने के लिए अप्रभावी है जिसमें रैंडम-एक्सेस डेटा एक्सेस की आवश्यकता होती है।

नीचे दी गई तालिका संबंधपरक डीबीएमएस पर आधारित समाधानों और वितरित कंप्यूटिंग रूपरेखाओं पर आधारित है।

अंत में, मैं ध्यान देता हूं: समानांतर DBMS पर आधारित समाधानों को व्यापक रूप से अपनाने के लिए सबसे बड़ी बाधा एक समाधान की लागत है, जो सामान्य मामले में, सैकड़ों हजारों डॉलर की राशि है। ड्रायड आधारित समाधान की लागत कितनी होगी; मेरी राय में, योग कम परिमाण का एक क्रम है।

3. ड्रायड बनाम हाडोप

डेटा-समानांतर एल्गोरिदम का वर्णन करने के लिए मानचित्र / प्रतिमान कम करना एक बहुत ही सुंदर तरीका है। Hadoop का उद्भव, जिसने रनटाइम अवसंरचना प्रदान की और मानचित्र / कम अनुप्रयोगों को लिखने के लिए एक प्रोग्रामिंग मॉडल प्रदान किया, बिग डेटा समस्याओं को हल करने में एक क्रांतिकारी छलांग था।

* दिशात्मक एसाइक्लिक ग्राफ (Eng। निर्देशित एसाइक्लिक ग्राफ)।

** केवल बीटा संस्करण उपलब्ध है (जून 2013 तक)।

*** स्थिर टाइपिंग के साथ कोई भी सीएलएस-संगत पीएल।

**** एक Hadoop क्लस्टर की तैनाती और Hadoop कार्यों को निष्पादित करने के लिए बुनियादी ढाँचा।

***** केवल Hadoop पारिस्थितिकी तंत्र के तीसरे पक्ष के घटकों को स्थापित करते समय उपलब्ध है।

3.1। Hadoop

Hadoop विचारधाराओं और डेवलपर्स, सभी अनावश्यक चीजों को त्यागने, डेवलपर्स के अधिकतम सर्कल के लिए एक सरल, समझने योग्य और MPP अनुप्रयोगों के लिए बेहद प्रभावी और समान रूप से सीमित विकास मंच बनाया।

Hadoop मानचित्र / कम करने के लिए एकदम सही है और अब तक अन्य वितरित एल्गोरिदम (YNN की प्रतीक्षा) के लिए विकसित होने पर आलोचना तक नहीं करता है। इसलिए, Hadoop MapReduce कंप्यूटिंग ढांचे (जैसे सुअर) और दोनों पर आधारित अलग-अलग कंप्यूटिंग फ्रेमवर्क (Hive, Storm, Apache Giraph) का प्रतिनिधित्व करते हुए Hadoop सहायक उपकरण की एक बड़ी संख्या। और ये सभी उपकरण अक्सर लॉग पार्सिंग और पेजरैंक की गिनती और ग्राफ विश्लेषण दोनों को हल करने के लिए एक एकल सार्वभौमिक उपकरण प्रदान करने के बजाय एक संकीर्ण प्रकृति (वास्तव में, प्रतिबंधों की परिधि) के कार्यों के लिए डुप्लिकेट समाधान प्रदान करते हैं।

स्वाभाविक रूप से, पूरे हडूप पारिस्थितिकी तंत्र की स्थापना, विन्यास और समर्थन, रोजमर्रा के विश्लेषिकी कार्यों को हल करने के लिए आवश्यक, एक काफी समय है और, परिणामस्वरूप, वित्तीय लागतें जो व्यवसाय और / या शोधकर्ता कार्यों के बजाय बुनियादी ढांचे की समस्याओं को हल करने के लिए जाती हैं । इस समस्या के आंशिक समाधान के रूप में, Hadoop प्लेटफ़ॉर्म के वितरक "इकट्ठे" दिखाई दिए (उनमें से सबसे बड़े हैं Cloudera और Hortonworks)। लेकिन यह अभी भी समस्या का समाधान नहीं है - यह इसकी उपस्थिति की एक अतिरिक्त पुष्टि है ।

YARN सॉफ्टवेयर फ्रेमवर्क, जो कि डेवलपर्स / एपीआई को मैप / कम के अलावा अन्य वितरित एल्गोरिदम को विकसित करने के लिए आवश्यक प्रदान करता है , एक विकासवादी छलांग (भविष्य में अब तक) बन जाएगा। YARN भी कम संसाधन उपयोग और स्केलेबिलिटी थ्रेशोल्ड सहित Hadoop v1.0 की कई समस्याओं को हल करता है, जो अब ~ 4K कंप्यूटिंग नोड्स पर हैं (जबकि ड्रायड में पहले से ही 2011 में 10K नोड्स थे)।

मई 2013 तक, YARN अभी रिलीज़ संस्करण में नहीं है। "धीमी" अपाचे-समुदाय को देखते हुए, यह उच्च संभावना को ध्यान में रखना आवश्यक है कि YARN के रिलीज़ संस्करण की रिलीज़ के समय और मानचित्र के अलावा वितरित एल्गोरिदम के रिलीज़ संस्करणों के बीच का समय अंतराल / YARN API का उपयोग करके लिखित कम हो सकता है।

3.2। Dryad

ड्रायड फ्रेमवर्क ने शुरू में डेवलपर्स को मनमाने ढंग से वितरित एल्गोरिदम को लागू करने की अनुमति दी। इस प्रकार, Hadoop MapReduce सॉफ्टवेयर मॉडल (v1.0) अधिक सामान्य ड्रायड सॉफ्टवेयर मॉडल का एक विशेष मामला है ।

हम जुड़ने के संचालन, पेजरैंक की गणना करने की दक्षता, हाडोप मंच की अन्य सीमाओं और उन्हें कैसे हल करें, के साथ हमदोप की समस्याओं में तल्लीन नहीं करेंगे, क्योंकि यह स्पष्ट रूप से लेख के दायरे से परे है। इसके बजाय, हम ड्रायड ढांचे की क्षमताओं पर चर्चा करते हैं, हडोप मंच का कोई एनालॉग नहीं है।

ड्रायड में एक वितरित एप्लिकेशन के निष्पादन की प्रक्रिया की योजना बनाने के लिए उपकरणों की एक प्रभावशाली सूची है, जिसे श्रृंखला के पिछले लेखों में वर्णित किया गया है। तो एक समानांतर संकलक है जो ड्रायडलाइन में लिखे गए भावों को एक निष्पादन ग्राफ में परिवर्तित करता है - ईपीजी। EPG निष्पादन ( स्थैतिक ऑप्टिमाइज़र ) से पहले और निष्पादन के दौरान (निष्पादन के दौरान एकत्र की गई नीतियों और आँकड़ों के आधार पर डायनामिक ऑप्टिमाइज़ेशन ) के दौरान ऑप्टिमाइज़ेशन स्टेज से गुज़रता है।

एक समानांतर कंपाइलर, एक रनटाइम ग्राफ और स्टेटिकली / डायनामिकली ऑप्टिमाइज़ करने की क्षमता एक ग्राफ को शेड्यूल / इम्प्रूव करता है जो डिस्ट्रिब्यूटेड एप्लिकेशन को इम्प्रूव और ऑप्टिमाइज़ेशन के लिए ओपन करता है।

एक निर्देशित चक्रीय ग्राफ की अवधारणा आपको हडोप में लागू किए जाने की तुलना में बहुत अधिक सुरुचिपूर्ण तरीके से दोष सहिष्णुता, निगरानी, योजना और संसाधन प्रबंधन से संबंधित कई समस्याओं को हल करने की अनुमति देती है (मैंने श्रृंखला के पहले लेख में इसके बारे में लिखा था)।

कम्प्यूटेशनल नोड्स की विफलता प्रसंस्करण, "धीमी" नोड्स का प्रसंस्करण, ड्रायड में गतिशील एकत्रीकरण (चित्र)

कंप्यूटिंग नोड्स की विफलता प्रसंस्करण आपको पूरे चरण को फिर से शुरू नहीं करने की अनुमति देता है।

Dryad। धीमे स्वर में

"धीमी" कंप्यूटिंग नोड्स को संसाधित करना आपको नोड्स के लिए "प्रतीक्षा" न करने की अनुमति देता है, जिन्होंने सबसे धीमे नोड "समाप्त" किया है (उदाहरण के लिए, कटौती चरण शुरू करने के लिए)

Dryad। गतिशील एकत्रीकरण

ड्रायड में डायनेमिक एकत्रीकरण अगले चरण की शुरुआत से पहले नेटवर्क बैंडविड्थ के क्षरण से बचा जाता है (जैसे, दृढ़ संकल्प)।

एक और दिलचस्प विशेषता है कि Hadoop की कमी चैनल की अवधारणा का अमूर्तन है । शुरू की गई अमूर्तता के लिए धन्यवाद, दोनों टीसीपी, अस्थायी फ़ाइल और साझा मेमोरी FIFO ड्रायड में एक चैनल के रूप में कार्य कर सकते हैं। यह कम विलंबता (उदाहरण के लिए, साझा स्मृति FIFO) के साथ चैनलों पर पुनरावृत्तियों के बीच डेटा का आदान-प्रदान करने के लिए पेजरैंक गणना जैसे एल्गोरिदम की अनुमति देता है। हालांकि Hadoop में, पुनरावृत्तियों के बीच डेटा ट्रांसफर हमेशा टीसीपी चैनलों पर जाएगा, जिनकी साझा मेमोरी की तुलना में उच्च विलंबता है। (जानकारी है कि यह व्यवहार YARN में तय किया गया था, लेकिन मैंने अभी तक इसकी पुष्टि नहीं देखी है।)

चित्रण का स्रोत [7]

कुछ ड्रायड आर्किटेक्चरल सॉल्यूशंस (उनमें से एक पर पिछले लेख में चर्चा की गई थी, "एक्ज़िस्टिंग" मेटाडेटा को एक्ज़ीक्यूटिव ग्राफ़्स में शामिल करना) और हाई-लेवल स्टैटिक-टाइप पीएल के लिए फ्रेमवर्क द्वारा नेटिव सपोर्ट से ड्रायड-एप्लिकेशन के दौरान बेहद सख्ती से टाइप किए गए डेटा के साथ काम करना संभव हो गया। जबकि Hadoop के तहत डेवलपर्स के लिए, सामान्य अभ्यास इनपुट डेटा को पार्स कर रहा है और आगे (सबसे सुरक्षित नहीं) अपेक्षित प्रकार के लिए कास्टिंग।

3.3। अभ्यास

निम्न-स्तरीय API का उपयोग करके Hadoop और Dryad के लिए अंकगणितीय-औसत अनुप्रयोगों की सूची निम्न है।

लिस्टिंग 1. अंकगणित का अर्थ हैडोप (जावा) में गणना। स्रोत [१]।

// InitialReduce: input is a sequence of raw data tuples; // produces a single intermediate result as output static public class Initial extends EvalFunc<Tuple> { @Override public void exec(Tuple input, Tuple output) throws IOException { try { output.appendField(new DataAtom(sum(input))); output.appendField(new DataAtom(count(input))); } catch(RuntimeException t) { throw new RuntimeException([...]); } } } // Combiner: input is a sequence of intermediate results; // produces a single (coalesced) intermediate result static public class Intermed extends EvalFunc<Tuple> { @Override public void exec(Tuple input, Tuple output) throws IOException { combine(input.getBagField(0), output); } } // FinalReduce: input is one or more intermediate results; // produces final output of aggregation function static public class Final extends EvalFunc<DataAtom> { @Override public void exec(Tuple input, DataAtom output) throws IOException { Tuple combined = new Tuple(); if(input.getField(0) instanceof DataBag) { combine(input.getBagField(0), combined); } else { throw new RuntimeException([...]); } double sum = combined.getAtomField(0).numval(); double count = combined.getAtomField(1).numval(); double avg = 0; if (count > 0) { avg = sum / count; } output.setValue(avg); } } static protected void combine(DataBag values, Tuple output) throws IOException { double sum = 0; double count = 0; for (Iterator it = values.iterator(); it.hasNext();) { Tuple t = (Tuple) it.next(); sum += t.getAtomField(0).numval(); count += t.getAtomField(1).numval(); } output.appendField(new DataAtom(sum)); output.appendField(new DataAtom(count)); } static protected long count(Tuple input) throws IOException { DataBag values = input.getBagField(0); return values.size(); } static protected double sum(Tuple input) throws IOException { DataBag values = input.getBagField(0); double sum = 0; for (Iterator it = values.iterator(); it.hasNext();) { Tuple t = (Tuple) it.next(); sum += t.getAtomField(0).numval(); } return sum; }

लिस्टिंग 2. ड्रायड (C #) में अंकगणितीय माध्य गणना। स्रोत [१]।

 public static IntPair InitialReduce(IEnumerable<int> g) { return new IntPair(g.Sum(), g.Count()); } public static IntPair Combine(IEnumerable<IntPair> g) { return new IntPair(g.Select(x => x.first).Sum(), g.Select(x => x.second).Sum()); } [AssociativeDecomposable("InitialReduce", "Combine")] public static IntPair PartialSum(IEnumerable<int> g) { return InitialReduce(g); } public static double Average(IEnumerable<int> g) { IntPair final = g.Aggregate(x => PartialSum(x)); if (final.second == 0) return 0.0; return (double)final.first / (double)final.second; }

3.4। डेवलपर की पहुंच

ड्रायड एक स्वामित्व प्रणाली है, जो पेशेवर समुदाय से बंद है, एक अस्पष्ट भविष्य के साथ (अधिक सटीक, बिना इसके बिल्कुल भी)। इसके विपरीत, Hadoop एक विशाल समुदाय, एक स्पष्ट लाइसेंसिंग विधि और कई बड़े वितरकों (Cloudera, Hortonworks, आदि) के साथ एक ओपन-सोर्स प्रोजेक्ट है।

Hadoop के साथ तुलना करने पर अध्याय के निष्कर्ष में, मैं ध्यान देता हूं कि क्लाउड सेवाओं के विकास के वर्तमान स्तर पर उपयोग के लिए Hadoop क्लस्टर प्राप्त करना मुश्किल नहीं है: Amazon Web Services अपने Amazon Elastic MapRedit सेवा के माध्यम से Hadoop क्लस्टर और Microsoft HDInsight के माध्यम से Windows Azure क्लाउड प्लेटफॉर्म प्रदान करता है। ।

के आगमन के साथ "Hadoop + {WA | AWS} “स्टार्टअप्स और शोधकर्ताओं के लिए Hadoop प्लेटफॉर्म की उपलब्धता बहुत अधिक हो गई है। ड्रायड की उपलब्धता के बारे में बात करने की कोई आवश्यकता नहीं है: कोई व्यावसायिक लाइसेंस नहीं हैं, लगभग कभी भी शैक्षणिक उपयोग के बारे में बात नहीं की गई है।

Hadoop बिग डेटा के साथ काम करने के लिए वास्तविक मानक है। एक उम्मीद है कि YARN की भविष्य में रिलीज़ होने के बाद, कोई भी संदेह नहीं करेगा कि मंच इस मानक के लायक हो गया है। ड्रायड, परियोजना की तरह, "पुनर्जन्म" लगता है, उनमें से एक नैयाड (वृद्धिशील ड्रायड) है; और, ड्रायड में निर्धारित सिद्धांत, निश्चित रूप से, उनकी निरंतरता को न केवल माइक्रोसॉफ्ट रिसर्च प्रोजेक्ट्स में, बल्कि ओपन-सोर्स समुदाय में भी पाया गया।

निष्कर्ष

ड्रायड फ्रेमवर्क, एक निर्देशित एसाइक्लिक ग्राफ की अवधारणा पर आधारित है, इस अवधारणा पर वितरित अनुप्रयोग निष्पादन ढांचे, पारंपरिक और समानांतर DBMSs की दुनिया में नवीनतम विचार हैं । व्यक्तिगत मॉड्यूल के बीच रनटाइम, वितरित भंडारण और सॉफ्टवेयर मॉडल से जुड़े जिम्मेदारियों के विभाजन ने ड्रायड को एक अत्यंत लचीली प्रणाली रहने की अनुमति दी; और .NET डेवलपर्स (.NET फ्रेमवर्क, सी #, विजुअल स्टूडियो) के लिए मौजूदा सॉफ्टवेयर स्टैक के साथ तंग एकीकरण फ्रेमवर्क के साथ काम करना शुरू करने के लिए आवश्यक समय को काफी कम कर देता है।

एक सरल और सुरुचिपूर्ण अवधारणा, नवीन विचार, सुंदर वास्तुकला और एक परिचित प्रौद्योगिकी स्टैक ड्रायड को बिग डेटा के साथ काम करने के लिए एक प्रभावी उपकरण बनाते हैं। हार्डवेयर-बाउंड GPU कंप्यूटिंग की तुलना में अधिक कुशल; पारंपरिक DBMS पर आधारित खराब स्केलेबल समाधान; समानांतर DBMS पर आधारित SQL भाषा समाधान की प्रधानता से महंगा और सीमित है। ड्रायड मानचित्र पर "लूप्ड" को पार करता है / Hadoop मॉडल को कम करता है, YARN के उद्भव से पहले पीड़ित है, या तो विफलता के एकल बिंदुओं से, कभी-कभी कम संसाधन उपयोग से, या बस अपने समुदाय की जड़ता से।

इसी समय, ड्रायड के सभी स्पष्ट लाभ इस उत्पाद की प्रकृति द्वारा आसानी से समतल किए जाते हैं - यह आंतरिक उपयोग के लिए एक स्वामित्व वाला Microsoft उत्पाद है , जिसके भाग्य का Microsoft व्यक्तिगत रूप से निर्णय लेता है।

लेकिन यह ड्रायड को होने से रोकता नहीं है - यह एक नया दिलचस्प रूप है, माइक्रोसॉफ्ट रिसर्च के वितरित एप्लिकेशन निष्पादन प्रणालियों की एक नवीन दृष्टि है।

सूत्रों की सूची

[१] वाई। यू।, पीके गुंडा, एम। इसार्ड। डेटा-समानांतर कम्प्यूटिंग के लिए वितरित एकत्रीकरण: इंटरफेस और कार्यान्वयन , 2009।
[२] एम। इसार्ड, एम। बुडीयू, वाई। यू।, ए। बिरेल, और डी। पूरी तरह से। ड्रायड: अनुक्रमिक भवन ब्लॉकों से वितरित डेटा-समानांतर कार्यक्रम । कंप्यूटर सिस्टम पर यूरोपीयन कॉन्फ्रेंस की कार्यवाही में (2007)।
[३] टॉम व्हाइट। Hadoop: द निश्चित गाइड, तीसरा संस्करण। ओ रेली मीडिया / याहू प्रेस, 2012।
[४] अरुण सी मूर्ति। Apache Hadoop MapReduce की अगली पीढ़ी । याहू, 2011।
[५] डी। डेविट और जे। ग्रे। समानांतर डेटाबेस सिस्टम: उच्च प्रदर्शन डेटाबेस प्रसंस्करण का भविष्य। एसीएम, 36 (6), 1992 के संचार।
[६] डेविड तारडिटी, सिद्द पुरी और जोस ओल्स्बी। त्वरक: सामान्य प्रयोजन के लिए GPUs को प्रोग्राम करने के लिए डेटा-समानांतरवाद का उपयोग करना। प्रोग्रामिंग लैंग्वेज एंड ऑपरेटिंग सिस्टम ASPLOS के लिए आर्किटेक्चरल सपोर्ट पर इंटरनेशनल कॉन्फ्रेंस में), बोस्टन, MA, अक्टूबर 2006।
[[] जिनांग ली। Dryad / Dryad LINQ स्लाइड्स को युआन यू और माइकल इसार्ड , 2009 से अनुकूलित किया गया है।

माइक्रोसॉफ्ट ड्रायड बनाम अपाचे हडोप। बिग डेटा के लिए बड़ी लड़ाई