DryadLINQ। Microsoft अनुसंधान से LINQ वितरित

हैबे पर कल की पोस्ट के ध्यान का विषय माइक्रोसॉफ्ट रिसर्च - ड्रायड से वितरित कंप्यूटिंग ढांचा था ।

फ्रेमवर्क एक निर्देशित एसाइक्लिक ग्राफ के रूप में एक कार्य के प्रतिनिधित्व पर आधारित है, जहां ग्राफ के कोने प्रोग्राम हैं और किनारों चैनल हैं जिसके माध्यम से डेटा संचारित होता है। ड्रायड फ्रेमवर्क इकोसिस्टम की भी समीक्षा की गई, और फ्रेमवर्क इकोसिस्टम के केंद्रीय घटकों में से एक के आर्किटेक्चर का एक विस्तृत अवलोकन , ड्रायड वितरित अनुप्रयोगों का पर्यावरण, बनाया गया था।

इस लेख में, हम ड्रायड फ्रेमवर्क सॉफ्टवेयर स्टैक के शीर्ष-स्तरीय घटक पर चर्चा करेंगे, ड्रायडलाइन क्विक स्टोरेज क्वेरी लैंग्वेज है।

1. सामान्य जानकारी

हम चाहते हैं कि वे अनुक्रमिक और घोषणात्मक कोड लिखने में सक्षम हों, और फिर, उसी कोड को एक मशीन पर, एक मल्टीकोर मशीन पर, या मशीनों के एक क्लस्टर पर चलाया जा सकता है। यह ड्रायडलीनक्यू प्रोग्रामिंग मॉडल की सुंदरता है।
- युआन यू, प्रधान शोधकर्ता, माइक्रोसॉफ्ट रिसर्च

DryadLINQ एक वितरित फ़ाइल सिस्टम में SQL-तरह सिंटैक्स के साथ संग्रहीत डेटा को क्वेरी करने के लिए एक उच्च-स्तरीय भाषा है। DryadLINQ .NET लैंग्वेज इंटीग्रेटेड क्वेरी (LINQ) प्रोग्रामिंग मॉडल पर आधारित है, ड्रायड रनटाइम के साथ बातचीत के लिए एक विशिष्ट LINQ प्रदाता को लागू करता है, और वितरित LINQ एक्सप्रेशन लिखने के लिए API के साथ डेवलपर प्रदान करता है।

Hadoop - HiveQL मंच, सुअर लैटिन के लिए क्वेरी भाषाओं के विपरीत - DryadLINQ एक विशिष्ट वाक्यविन्यास (सीखने के लिए आवश्यक) के साथ एक और क्वेरी भाषा नहीं है। इसके बजाय, DryadLINQ .NET डेवलपर्स से परिचित पर आधारित है:

• LINQ एकीकृत सॉफ्टवेयर मॉडल ;
• => परिणामस्वरूप - डेटा अनुरोध लिखने के लिए एक सुरुचिपूर्ण कार्यात्मक दृष्टिकोण ;
• .NET फ्रेमवर्क ऑब्जेक्ट मॉडल
• एमएस विज़ुअल स्टूडियो विकास पर्यावरण ;
• उच्च-स्तरीय PLs जैसे C #, F #, या कोई CLS- संगत भाषा।

उपरोक्त सूची के पहले पैराग्राफ को खोलना, यह ध्यान देने योग्य है कि LINQ में शुरू में डेटा वेयरहाउस की प्रकृति के लिए स्पष्ट संदर्भ नहीं थे जिसमें अनुरोध किया गया है। और, LINQ के ऊपर बनाया गया, DryadLINQ API भी है "नहीं देता" उनके वितरित स्वभाव को "धोखा" न देने का प्रयास करें।

इस प्रकार, डेटाबेस (LINQ-SQL पर) या किसी वितरित फ़ाइल सिस्टम (DryadLINQ पर) के लिए क्वेरी लिखने के लिए सिंटैक्स में अंतर को कम करके, सबसे आम मामलों में से एक का समाधान बहुत सुगम है - डेटाबेस-आधारित स्टोरेज के लिए भंडारण के लिए माइग्रेशन एक वितरित फ़ाइल प्रणाली पर आधारित है।

तो यह एक वितरित अनुप्रयोग डेवलपर के लिए DryadLINQ लगता है। हम DryadLINQ के आंतरिक कार्यान्वयन के बारे में नीचे बात करेंगे : डेटा, घटकों और अवधारणाओं के क्वेरी के क्रम में DryadLINQ अंतर्निहित है ।

2. कार्यान्वयन के चरण

चित्रण का स्रोत [5]

चरण 1. एक उपयोगकर्ता वितरित अनुप्रयोग जिसमें LINQ अभिव्यक्ति चल रही है। LINQ अभिव्यक्तियों में देरी हो रही है (उन्हें तब तक निष्पादित नहीं किया जाएगा जब तक कि अनुरोध द्वारा वापस किए गए डेटा की आवश्यकता न हो)। DryadLINQ अभिव्यक्तियों को भी स्थगित किया जाता है।

चरण 2. LINQ अभिव्यक्ति पार्स करते समय, DryadLINQ- विशिष्ट ट्रिगर “ToDryadTable ()” कहा जाता है। DryadLINQ इस ट्रिगर को स्वीकार करता है (इसलिए इस स्तर पर यह स्पष्ट हो जाता है कि डेटा अनुरोध वितरित किया जाएगा)।

चरण 3. ड्रायडलीनक्यू लिन्क एक्सप्रेशन को ड्रायड डिस्ट्रिब्यूटेड क्वेरी प्लान में संकलित करता है: लिनेक्यू एक्सप्रेशन ट्री को उपकेंद्रों पर विस्तारित किया जाता है, जिनमें से प्रत्येक भविष्य के ड्रायड निष्पादन ग्राफ में एक अलग वर्टेक्स का प्रतिनिधित्व करता है; दूरस्थ वर्टेक्स संचालन को चलाने के लिए आवश्यक सेवा डेटा की एक पीढ़ी है, सबसे ऊपर कोड पर निष्पादन योग्य कोड की पीढ़ी, आवश्यक डेटा प्रकारों का क्रमांकन।

चरण 4. ड्रायडलिनक्यू आवेदन-विशिष्ट ड्रायड जॉब मैनेजर को कॉल करता है।

चरण 5। नौकरी प्रबंधक चरण 3 में उत्पन्न योजना का उपयोग करके एक एप्लिकेशन रनटाइम ग्राफ बनाता है।

चरण 6. वर्टेक्स कार्यक्रम उनके लिए परिभाषित चोटियों पर चलते हैं।

चरण 7. ड्रायड कार्य के अंत में, परिणाम आउटपुट तालिका (ओं) को लिखा जाता है।

चरण 8. जॉब मैनेजर ड्रायडलाइन क्वॉलिटी को चलाने और समाप्त होने वाले नोड पर परिणाम देता है।

चरण 9. नियंत्रण को उस एप्लिकेशन पर लौटा दिया जाता है जिसने ड्रायडलाइन क्वॉलिटी के निष्पादन की शुरुआत की थी। क्वेरी का परिणाम एक DryadTable है। ड्राईएडटेबल इम्प्लिमेंट IEnumerable <T>, ताकि दृढ़ता से टाइप किए गए ड्रायडटेबल संग्रह की सामग्री को नियमित .NET ऑब्जेक्ट्स की तरह एक्सेस किया जा सके।

3. ड्रायडलीनक्यू कंपाइलर

DryadLINQ क्वेरी भाषा का दिल DryadLINQ समानांतर संकलक है । यदि हम SQL क्वेरी भाषा की दुनिया के साथ एक सादृश्य बनाते हैं, तो DryadLINQ संकलक की तुलना DBMS क्वेरी शेड्यूलर / ऑप्टिमाइज़र के साथ की जा सकती है।

संकलक ड्रायडलैनक्यू अभिव्यक्ति को ड्रायड क्लस्टर पर चलने वाले वितरित प्रोग्राम में संकलित करने के लिए जिम्मेदार है। DryadLINQ कंपाइलर में एक स्थिर घटक होता है जो एक निष्पादन योजना बनाता है, और एक गतिशील घटक जो आपको रनटाइम में सीधे निष्पादन योजना को बदलते हुए विभिन्न नीतियों के आधार पर निष्पादन को अनुकूलित करने की अनुमति देता है।

3.1। निष्पादन योजना का ग्राफ

कंपाइलर पर नियंत्रण स्थानांतरित करते समय, बाद में LINQ अभिव्यक्ति को एक्जीक्यूशन प्लान ग्राफ (EPG) में बदल देता है। ईपीजी एक प्रदर्शन ग्राफ का एक प्रोटोटाइप है (यानी, अंतिम योजना नहीं)।

DryadLINQ ऑप्टिमाइज़र EPG मेटाडेटा को भी पूरक करता है, जो योजना और निष्पादन के दौरान वितरित कार्य के बारे में अतिरिक्त जानकारी प्रदान कर सकता है। तो ग्राफ के कोने के लिए, यह डेटा विभाजन योजना के बारे में जानकारी है , और ग्राफ़ के किनारों के लिए, यह .NET डेटा प्रकार और डेटा संपीड़न योजना है, यदि कोई हो।

3.2। DryadLINQ अनुकूलन

बदले में, DryadLINQ ऑप्टिमाइज़र निष्पादन के दौरान एकत्र की गई सांख्यिकीय जानकारी के आधार पर लालची अनुमान और गतिशील अनुकूलन के आधार पर दोनों स्थिर अनुकूलन करता है ।

स्थैतिक अनुकूलन

स्थैतिक ऑप्टिमाइज़र के मुख्य कार्य दो हैं: डिस्क मीडिया और नेटवर्क पर इनपुट-आउटपुट संचालन की संख्या को कम करना । जो तार्किक है, क्योंकि परंपरागत रूप से डिस्क सबसिस्टम और इंटर-मशीन इंटरैक्शन इंटरफेस वितरित कंप्यूटिंग वातावरण में एक अड़चन है।

सबसे दिलचस्प स्थैतिक अनुकूलन तकनीक नीचे सूचीबद्ध हैं:

1. पाइपलाइनिंग (इन-प्रोसेस इंटरैक्शन): ऑप्टिमाइज़र एक एकल कंप्यूटिंग नोड के भीतर गणनाओं के स्थानीयकरण को अधिकतम करने की कोशिश करता है, यदि संभव हो तो;
2. I / O कमी : ऑप्टिमाइज़र डेटा को स्थानांतरित करने के लिए डिफ़ॉल्ट तरीके के बजाय वर्टेक्स ऑपरेशंस के बीच डेटा ट्रांसफर करने के लिए टीसीपी-पाइप और इन-मेमोरी FIFO का उपयोग करने की कोशिश करता है - डिस्क से / के लिए अस्थायी फ़ाइलों को लिखना / पढ़ना (ड्रायड डेटा चैनल पिछले लेख में विस्तार से चर्चा की गई थी);
3. अतिरेक को दूर करना : ऑप्टिमाइज़र अनावश्यक / अनावश्यक हैश और रेंज-विभाजन चरणों को हटा देता है।

गतिशील अनुकूलन

डायनामिक ऑप्टिमाइज़र वितरित कार्य के निष्पादन के दौरान निष्पादन ग्राफ को संशोधित करता है। इस प्रकार, एकत्रित सांख्यिकीय आंकड़ों (संभावित रूप से, यहां तक ​​कि एक विशेष रूप से प्रशिक्षित मॉडल) के आधार पर, अनुकूलक ग्राफ को ओवरराइड कर सकता है। गतिशील अनुकूलन के लिए मुख्य तकनीकें नीचे दी गई हैं:
डायनेमिक एकत्रीकरण : नोड्स के बीच स्थानांतरित डेटा की मात्रा को कम करने के लिए डेटा एकत्रीकरण सबसे प्रभावी तरीकों में से एक है। अभिकलन कंप्यूटिंग नोड, रैक और क्लस्टर के स्तर पर बारी-बारी से होता है। इस तरह के अनुकूलन बहुत नोड और समुच्चय डेटा के टोपोलॉजिकल स्थान पर निर्भर करता है, इसलिए इसे रनटाइम (यानी गतिशील) पर बाहर ले जाने के लिए सबसे अधिक कुशल है।

डेटा-निर्भर विभाजन : ऑप्टिमाइज़र गतिशील रूप से इनपुट डेटा सेट के आकार के आधार पर डेटा सेट में विभाजन (विभाजन) की संख्या निर्धारित करता है। डायनेमिक एकत्रीकरण के साथ, वितरित कार्य के निष्पादन के दौरान केवल इनपुट सेट के आकार का अनुमान लगाना संभव है।

4. अभ्यास

शब्द गणना

DryadLINQ डेटा क्वेरी लिखने के लिए आश्चर्यजनक रूप से संक्षिप्त सिंटैक्स प्रदान करता है। निम्नलिखित सूची मानचित्र / कम मॉडल के अनुसार गणना का पूर्ण कार्यान्वयन है:

लिस्टिंग 1. नक्शा लागू करना / प्रोग्रामिंग मॉडल को कम करना।

public static IQueryable<TResult> MapReduce<TSource, TMap, TKey, TResult>( this IQueryable<TSource> source, Expression<Func<TSource, IEnumerable<TMap>>> mapper, Expression<Func<TMap, TKey>> keySelector, Expression<Func<IGrouping<TKey, TMap>, TResult>> reducer) { return source .SelectMany(mapper) .GroupBy(keySelector) .Select(reducer); } 

लिस्टिंग 2 दर्शाता है कि किसी वितरित फ़ाइल सिस्टम में संग्रहीत कुछ डेटा स्रोत foo.pt (विभाजन तालिका) में ड्रायड शब्द गणना कार्य बनाने के लिए ऊपर दिए गए मैप / कम प्रोग्रामिंग मॉडल कार्यान्वयन का उपयोग कैसे करें।

लिस्टिंग 2. ड्रायडलाइन के साथ शब्द गणना।

 const string inputPath = @"file://\\machine\directory\foo.pt"; const string outputPath = @"file://\\machine\directory\count.pt"; PartitionedTable<LineRecord> inputTable = PartitionedTable.Get<LineRecord>(inputPath); var result = inputTable.MapReduce( r => r.Line.Split(' '), // r: rows w => w, // w: words g => new Tuple<string, int>(g.Key, g.Count())); // g: groups result.ToDryadPartitionedTable(outputPath); 

ड्रायड फ्रेमवर्क इस एप्लिकेशन के लिए निम्नलिखित रनटाइम ग्राफ उत्पन्न करता है:


चित्रण का स्रोत [3]।

इसके अलावा, स्टेप (2) और (3) पर एक्ज़ीक्यूशन ग्राफ डायनामिक रूप से उत्पन्न होता है, जो वर्टिक्स के बीच भेजे गए डेटा की मात्रा और इस ऑपरेशन को करने वाले वर्टेक्स ऑपरेशंस के टॉपोलॉजिकल लोकेशन के बारे में जानकारी के आधार पर उत्पन्न होता है।

पेजरैंक गणना

सूचीबद्ध 3-5 वितरित पेजरैंक गणना एल्गोरिथ्म के लिए कोड दिखाते हैं।

लिस्टिंग 3. पेजरैंक [5] की गणना के लिए एल्गोरिथ्म का कार्यान्वयन।

 public static IQueryable<Rank> PRStep(IQueryable<Page> pages, IQueryable<Rank> ranks) { // join pages with ranks, and disperse updates var updates = from page in pages join rank in ranks on page.Name equals rank.Name select page.Disperse(rank); // re-accumulate return from list in updates from rank in list group rank.Rank by rank.Name into g select new Rank(g.Key, g.Sum()); } 

लिस्टिंग 4. DryadLINQ का उपयोग करके पेजरैंक की गणना। स्रोत [५]

 const string inputPath = @"dfs://pages.txt"; const string outputPath = @"dfs://outputranks.txt"; var pages = PartitionedTable.Get<Page>(inputPath); var ranks = pages.Select(page => new Rank(page.Name, 1.0)); const int iterationCount = 1000; for (int iter = 0; iter < iterationCount; iter++) ranks = PRStep(pages, ranks); ranks.ToPartitionedTable<Rank>(outputPath); 

अलग-अलग पुनरावृत्तियों के बीच डेटा ट्रांसफर इन-मेमोरी FIFO चैनल के माध्यम से होगा, जो नेटवर्क पर डेटा ट्रांसफर की तुलना में उच्च प्रदर्शन के एक आदेश की गारंटी देता है, जैसा कि Hadoop में एक समान एल्गोरिथ्म के कार्यान्वयन के मामले में है (हम [सादे] Hadoop के नवीनतम रिलीज संस्करण के बारे में बात कर रहे हैं) ।

चित्रण का स्रोत [5]

चित्रण के अलावा : पुनरावृत्तियों के बीच डेटा स्थानांतरण 1> पुनरावृत्ति 2> ...> पुनरावृति n विशेष रूप से इन-मेमोरी FIFO चैनल के माध्यम से होता है।

5. सीमा

ड्राईड फ्रेमवर्क, Hadoop MapReduce के विपरीत, एक वितरित एप्लिकेशन और एक प्रोग्रामिंग मॉडल / क्वेरी भाषा को निष्पादित करने की जिम्मेदारी को नहीं मिलाता है जिसके साथ ऐसे एप्लिकेशन लिखे जा सकते हैं।

जिम्मेदारियों के इस विभाजन के बावजूद, मेरी राय में, DryadLINQ सॉफ्टवेयर मॉडल अपने आप में अभी भी जिम्मेदारियों को मिलाता है, जब यह ड्रायड कार्यक्रमों में LINQ अभिव्यक्तियों की व्याख्या के बारे में न केवल प्रत्यक्ष दायित्व लेता है, बल्कि EPG डेटा ग्राफ और अनुकूलन के निर्माण में भी शामिल है। । उत्तरार्द्ध अनिवार्य रूप से ड्रायड कार्य के लिए एक लंबे समय तक स्टार्ट-अप समय की ओर ले जाएगा: ड्राईपैडलाइन की अभिव्यक्ति की तुलना में अधिक सीपीयू चक्र खर्च किए जाते हैं, क्योंकि यह कम दायित्वों के साथ जा सकता था।

नतीजतन, एक कंप्यूटिंग नोड पर कई ड्रायडलाइन क्वेश्चंस की व्याख्या का स्थानीय स्तर पर और क्लस्टर के स्तर पर कार्य के निष्पादन समय पर अधिक नकारात्मक प्रभाव पड़ेगा। हालाँकि मैं अभी भी यह नहीं देखता कि वर्णित समस्या ड्रायड-क्लस्टर की स्केलेबिलिटी समस्या में कैसे बदल सकती है।

एक अन्य टिप्पणी स्टेटिक ऑप्टिमाइज़र से संबंधित है , जो कि अनुकूलन को प्रभावी ढंग से लागू करने के लिए , ड्रायड रनटाइम घटकों के आंतरिक "मामलों" के बारे में बहुत अधिक जानने की आवश्यकता है - वेबसाइटों की टोपोलॉजी, डेटा विभाजन योजना।

प्रलेखन से, यह स्पष्ट नहीं है कि डायनेमिक ऑप्टिमाइज़र के किस प्रकार के आंकड़े हैं: इनपुट / आउटपुट संचालन की संख्या के आंकड़े फिर से निष्पादन इंजन (ड्रायड रनटाइम) का आंतरिक डेटा है, जिसे प्रोग्राम मॉडल (ड्रायडलाइन) के स्तर पर प्रकट नहीं किया जाना चाहिए।

DryadLINQ स्थिर और गतिशील दोनों अनुकूलन करता है। [3]

ऊपर दिए गए अंश से, यह प्रश्न तुरंत उठता है: डायनाडलिनिक क्यू के जिम्मेदारी में डायनेमिक ऑप्टिमाइज़ेशन का कार्य क्यों शामिल है? वास्तव में, शब्दार्थ में, डायनेमिक ऑप्टिमाइज़र पहले से ही ड्राईडिनक्यू अभिव्यक्ति की अंतिम व्याख्या के बाद काम करता है, अर्थात, रनटाइम वातावरण के स्तर पर।

6. लाभ

पूर्ण विकसित प्रोग्रामिंग भाषा

कार्यात्मक शैली में डेटा प्रश्नों को लिखने की क्षमता के साथ आधुनिक उच्च स्तरीय प्रोग्रामिंग भाषाओं, LINQ मॉडल का उपयोग करते हुए विकास।

मजबूत डेटा टाइपिंग

ड्रायड फ्रेमवर्क दृढ़ता से टाइप किए गए डेटा की गणना करता है और वस्तुओं के दृढ़ता से टाइप किए गए संग्रह को लौटाता है।

स्वचालित डेटा क्रमांकन

चैनलों पर प्रसारित होने पर फ्रेमवर्क द्वारा डेटा को स्वचालित रूप से क्रमबद्ध / डिसरलाइज किया जाता है।

निष्पादन का स्वचालित समाकलन

DryadLINQ एक वितरित निष्पादन योजना बनाता है जो एक क्लस्टर में चलती है। मल्टीप्रोसेसर कंप्यूटर्स के बेहतर उपयोग के लिए स्थानीय स्तर पर किए गए कार्यों के लिए PLINQ (समानांतर LINQ) के उपयोग के लिए धन्यवाद।

स्वचालित प्रदर्शन अनुकूलन

रनटाइम ग्राफ़ को विशेष ड्रायड फ्रेमवर्क घटकों द्वारा ऑप्टिमाइज़िंग नीतियों का उपयोग करते समय, अनुकूलन नीतियों का उपयोग करते हुए और गतिशील रूप से रनटाइम पर आँकड़ों पर निर्भर करते हुए अनुकूलित किया जाता है।

परिचित विकास उपकरण

DryadLINQ प्रोग्रामिंग मॉडल का उपयोग करके MPP एप्लिकेशन लिखने के लिए, आप MS Visual Studio, साथ ही VS सुविधाओं का उपयोग कर सकते हैं जैसे: Intellisense, कोड रीफैक्टरिंग, एकीकृत डिबगिंग, बिल्ड, स्रोत कोड प्रबंधन।

.NET फ्रेमवर्क के साथ 100% संगत

DryadLINQ का उपयोग किसी भी .NET लाइब्रेरी और सीएलएस-संगत स्थिर टाइपिंग प्रोग्रामिंग भाषाओं के साथ किया जा सकता है।

निष्कर्ष

ड्रायडलाइन एक .net डेवलपर्स से परिचित एक सॉफ्टवेयर मॉडल है, जो मौजूदा .NET फ्रेमवर्क स्टैक, एक्सप्रेसिव और संक्षिप्त में पूरी तरह से एकीकृत है, जो लेखन कार्यक्रमों की कार्यात्मक शैली का विशिष्ट है। इसके अलावा, DryadLINQ मॉडल डेवलपर्स को एक वितरित डेटा वेयरहाउस में क्वेरीज़ लिखने, क्वेरी की वितरित प्रकृति के विवरणों को एन्क्रिप्ट करने, निष्पादन और उसे अनुकूलित करने के लिए एक LINQ- जैसे सिंटैक्स प्रदान करता है।

सूत्रों की सूची

[१] ड्रायडलाइन प्रोजेक्ट । Microsoft अनुसंधान।
[२] एम। ईसर और वाई। यू। उच्च-स्तरीय प्रोग्रामिंग भाषा का उपयोग करते हुए वितरित डेटा-समानांतर कंप्यूटिंग । डेटा के प्रबंधन पर अंतर्राष्ट्रीय सम्मेलन (SIGMOD), 2009 में।
[३] वाई। यू।, एम। इसार्ड, डी। फेटर्ली, एम। बुडियू, यू। एरलिंगसन, पीके गुंडा और जे। क्यूरी। DryadLINQ: उच्च-स्तरीय भाषा का उपयोग करते हुए सामान्य प्रयोजन के लिए एक प्रणाली वितरित डेटा-समानांतर कंप्यूटिंग । ऑपरेटिंग सिस्टम डिजाइन और कार्यान्वयन (OSDI), 2008 में 8 वीं संगोष्ठी की कार्यवाही में।
[४] वाई। यू।, एम। इसार्ड, डी। फेटर्ली, एम। बुडीयू, यू। एरलिंगसन, पीके गुंडा, जे। क्युरी, रिपोर्ट MSR-TR-२००74- ,४, माइक्रोसॉफ्ट रिसर्च, २०० 2008।
[५] जिनयांग ली। Dryad / Dryad LINQ स्लाइड्स को युआन यू और माइकल इसार्ड , 2009 से अनुकूलित किया गया है।