Dremel। Google वास्तविक समय में क्या सोचता है?

Dremel निकट-वास्तविक समय (निकट-वास्तविक-समय) मोड में प्रसंस्करण अनुरोधों के लिए एक स्केलेबल प्रणाली है , जिसे अपरिवर्तनीय डेटा [4] का विश्लेषण करने के लिए डिज़ाइन किया गया है।

शोध पत्र के लेखक [४] (जिनमें से, जाहिर है, हमारे हमवतन सर्गेई मेलनिक और एंड्रे गुबारेव हैं), जो ड्रेमेल के मूल सिद्धांतों और वास्तुकला का वर्णन करते हैं, कहते हैं कि यह प्रणाली सक्षम है:

• सेकंड में एक ट्रिलियन से अधिक पंक्तियों पर समग्र प्रश्न करें;
  
• हजारों सीपीयू को तराजू;
  
• डेटा के पेटाबाइट्स के साथ काम करने के लिए डिज़ाइन किया गया;
  
• Google के अंदर हजारों उपयोगकर्ता हैं (शाब्दिक रूप से "Google में" [4])।
  

UPD1: नीचे दी गई तस्वीर चौकस पाठकों के लिए deja vu है।


Dremel Google का एक स्वामित्व उत्पाद है, जो 2006 से प्रचालन में है, इसे आधिकारिक रूप से 2010 में वेरी लार्ज डेटा बेस (VLDB) बंदोबस्ती सम्मेलन में समुदाय के लिए पेश किया गया था।

Dremel का उपयोग किसी खोज रोबोट द्वारा एकत्रित किए गए दस्तावेज़ों के विश्लेषण में किया जाता है, Android Market, Google पुस्तक सेवाओं और स्पैम विश्लेषण में एप्लिकेशन इंस्टॉल करने पर डेटा ट्रैक करता है।

2012 में, Google ने Google BigQuery सेवा [14] के माध्यम से डेवलपर्स के लिए Dremel तक पहुंच खोली।

डेटा मॉडल

इस वर्ग की कई प्रणालियों की तरह, Dremel में कई हज़ार नोड्स को स्केल करने की क्षमता है, जो कमोडिटी उपकरणों पर चलता है, विश्वसनीय डेटा स्टोरेज , फ़ॉल्ट टॉलरेंस और प्रतिकृति प्रदान करता है, अपरिवर्तनीय डेटा के साथ काम करता है और इसकी अपनी SQL जैसी क्वेरी भाषा होती है ।

Dremel भंडारण के लिए Google फ़ाइल वितरित फ़ाइल सिस्टम का उपयोग करता है, और टैबलेट भंडारण इकाई है।

लेकिन, इसमें संदेह के बिना, Google Dremel का प्रमुख नवाचार एक डेटा मॉडल है , जो [4] में " नेस्टेड कॉलम स्टोरेज ", या अनुवाद में, एम्बेडेड डेटा का एक कॉलम स्टोरेज जैसा लगता है।

नेस्टेड स्तंभ भंडारण के मूल सिद्धांत हैं: डेटा जिसका डिज़ाइन स्पष्ट रूप से परिभाषित किया गया है, स्तंभ-धारित भंडारण में संग्रहीत है, इसके साथ जुड़े डेटा के साथ।

हम इस तरह के विकल्प के फायदे और नुकसान का विश्लेषण करेंगे।

कॉलम स्टोरेज आपको बड़ी मात्रा में डेटा पढ़ने और इसे कुशलतापूर्वक संपीड़ित करने की अनुमति देता है (क्योंकि एक ही प्रकार के डेटा को एक स्थान पर संग्रहीत किया जाता है) लाइन-बाय-लाइन डेटा स्टोरेज के लिए स्टोरेज ओरिएंटेड की तुलना में उच्चतम गति के साथ। दूसरी ओर, कॉलम स्टोरेज में एक लेखन ऑपरेशन पंक्ति-धारीदार स्टोरेज की तुलना में अधिक महंगा है, और लेन-देन में परिवर्तन को बनाए रखना एक तुच्छ कार्य नहीं है।

डेटा भंडारण संबंधित (नेस्टेड सहित) डेटा के साथ-साथ एक स्तंभ संग्रहण योजना डेटा रीडिंग की गति को बढ़ाने की अनुमति देती है। इसी समय, यह भंडारण विधि कुछ डेटा अतिरेक की उपस्थिति का अर्थ है और, परिणामस्वरूप, इस डेटा की विभिन्न प्रतियों की स्थिरता की समस्या को हल करने की आवश्यकता है।

Google इंजीनियरों ने इस समस्या को निम्नानुसार हल किया: Dremel अपरिवर्तनीय डेटा के साथ काम करता है, और अतिरेक की समस्या को प्रत्येक कॉलम दो अतिरिक्त स्तरों के लिए शुरू करके हल किया जाता है: परिभाषा स्तर और पुनरावृत्ति स्तर ।


चित्रण का स्रोत [४, चित्र २]


चित्रण का स्रोत [4, चित्र 3]

प्रत्येक स्तंभ में ब्लॉक का एक सेट होता है। बदले में, प्रत्येक ब्लॉक परिभाषा स्तर और पुनरावृत्ति स्तर का डेटा और पूर्णांक मान संकुचित होता है । इस प्रकार, डरमेल, अनुरोध को पूरा करने के लिए आवश्यक डेटा की संरचना और स्थान के बारे में सब कुछ जानते हुए भी आवश्यक जानकारी " स्थान पर " (शब्दावली में [4] - "सीटू में" प्राप्त कर सकते हैं)।

स्कीम के अनुसार कॉलम के प्रत्येक ब्लॉक को एन्कोड करना <value, repetition_level, परिभाषा_level> इस तथ्य की ओर जाता है कि भंडारण संरचना में पहले से ही विधानसभा एल्गोरिथ्म शामिल है, जो एक राज्य मशीन है, जहां:

• कई राज्य - कई कॉलम जिनमें दस्तावेज़ विभाजित है;
  
• संक्रमण - पुनरावृत्ति स्तर के मूल्य।
  

चित्रण का स्रोत [4, चित्र 4]

क्वेरी निष्पादन

अनुरोधों को निष्पादित करने के लिए, Dremel एक बहु-स्तरीय सेवारत पेड़ की वास्तुकला का उपयोग करता है: रूट सर्वर को निष्पादन के लिए क्लाइंट से अनुरोध प्राप्त होता है, टेबलेट से आवश्यक मेटाडेटा पढ़ता है, और अगले पेड़ के स्तर के लिए अनुरोध (मार्ग) भेजता है। और इसलिए जब तक अनुरोध सेवा पेड़ की पत्तियों तक नहीं पहुंचता है। पेड़ के पत्ते आवश्यक डेटा प्राप्त करने के लिए सीधे जीएफएस के साथ बातचीत करते हैं।

इसलिए ड्रेमेल के लिए अलग-अलग अनुरोधों को एक साथ निष्पादित किया जाता है, क्वेरी डिस्पैचर उनकी प्राथमिकता और सर्वश्रेष्ठ लोड संतुलन के आधार पर शेड्यूलिंग अनुरोधों के लिए जिम्मेदार है। क्वेरी डिस्पैचर टैबलेट स्तर पर विफलताओं को संभालने के लिए भी जिम्मेदार है, जो अनुरोध के निष्पादन और "चाकलेड" टैबलेट के दौरान दुर्गम हो गया।

एक दिलचस्प समाधान यह भी है कि क्वेरी परिणाम 100% रिकॉर्ड संसाधित होने के बाद वापस नहीं आएगा, लेकिन इससे पहले - [4] में यह आंकड़ा 98% है, सबसे विशिष्ट के रूप में। एक ओर, यह क्रेमल को क्वेरी ट्री के "धीमी" पत्तियों के खत्म होने के इंतजार से बचाता है; दूसरी ओर, यह अंतिम परिणाम में कुछ त्रुटि की ओर जाता है, जो ओएलएपी सिस्टम के लिए काफी स्वीकार्य है और ओएलटीपी सिस्टम में शायद ही स्वीकार्य है।

प्रयोग के परिणाम

प्रयोगों के परिणामस्वरूप, जिनमें से प्रारंभिक डेटा 3K कंप्यूटिंग नोड्स, 85 बिलियन पंक्तियाँ हैं , ड्रेमेल मैप-रिक्यूड एल्गोरिदम की तुलना में तेज़ी से परिमाण के आदेशों को निष्पादित करता है, जो रिकॉर्ड-ओरिएंटेड स्टोरेज और कॉलम-ओरिएंटेड स्टोरेज दोनों पर चल रहे हैं।


चित्रण का स्रोत [4]

इसके अलावा, [4] में यह कहा गया है कि प्रयोगों के दौरान, कुछ प्रश्नों पर तालिका स्कैनिंग गति ने सीधे प्रति सेकंड १०० बिलियन रिकॉर्ड प्राप्त किए ।

ओपन सोर्स पर प्रभाव

ड्रेमल के ओपन सोर्स एनालॉग्स में क्लूडेरा इम्पाला , अपाचे ड्रिल , लकवा (ट्विटर) शामिल हैं।

स्रोतों की सूची *

[४] सर्गेई मेलनिक, एंड्रे गुबारेव, जिंग जिंग लॉन्ग, जेफ्री रोमर, एट अल। Dremel: वेब-स्केल डेटासेट का इंटरएक्टिव विश्लेषण । VLDB बंदोबस्ती की कार्यवाही, 2010।
[१४] Google बिगविक - गूगल डेवलपर्स।
* चक्र तैयार करने के लिए उपयोग किए जाने वाले स्रोतों की एक पूरी सूची ।

दिमित्री पेटुखोव,
एमसीपी, पीएचडी छात्र , आईटी लाश,
लाल रक्त कोशिकाओं के बजाय कैफीन के साथ एक व्यक्ति।