स्पैनर। Google से NewSQL रिपॉजिटरी

स्पैनर भौगोलिक रूप से वितरित, अत्यधिक स्केलेबल मल्टी-वर्जन डेटाबेस है जो वितरित लेनदेन के लिए समर्थन के साथ है। भंडारण को निगम की आंतरिक सेवाओं के लिए Google इंजीनियरों द्वारा विकसित किया गया था। रिसर्च पेपर [8], स्पैनर के बुनियादी सिद्धांतों और वास्तुकला का वर्णन करते हुए, 2012 में ऑपरेटिंग सिस्टम डिज़ाइन और कार्यान्वयन पर 10 वीं USENIX संगोष्ठी में प्रस्तुत किया गया था।

स्पैनर NoSQL के पूर्ववर्ती, Google बिगटेबल का एक विकासवादी विकास है। स्पैनर स्वयं समाधानों के NewSQL परिवार से संबंधित है। शोध पत्र [8] में कहा गया है कि स्पैनर डिजाइन प्रणाली को सैकड़ों डेटा केंद्रों के माध्यम से लाखों कंप्यूटिंग नोड्स को स्केल करने और अरबों डेटा लाइनों के साथ काम करने की अनुमति देता है।



स्पैनर अपनी भंडारण परत और पैक्सोस टक्कर रिज़ॉल्यूशन एल्गोरिदम के रूप में कोलोसस (अगली पीढ़ी के जीएफएस) का उपयोग करता है। बदले में, ( शीर्ष पर ) स्पैनर पर आधारित, एक वितरित Google F1 DBMS बनाया गया है।

मेल सेवा GMail में सोशल नेटवर्क Google+ पर स्पैनर का उपयोग किया जाता है । स्पैनर के आधार पर, Google विज्ञापन सेवा [8] में प्रकाशन के समय Google F1 DBMS का उपयोग किया गया था।

मूल सिद्धांत

स्पैनर डेटा अर्ध-रिलेशनल टेबल में संग्रहीत होता है जिसमें एक स्कीमा होता है । सभी डेटा का एक संस्करण है - इस डेटा की रिकॉर्डिंग की पुष्टि के लिए टाइमस्टैम्प (कमिट)। स्पैनर में SQL जैसी क्वेरी भाषा है, प्रतिकृतियों की संख्या को कॉन्फ़िगर करने की क्षमता और "पुराने" टाइमस्टैम्प के साथ रिकॉर्ड हटाने के लिए जिम्मेदार कचरा कलेक्टर नीति।

NoSQL दुनिया के लिए पहले से ही परिचित क्षमताओं के अलावा, स्पैनर में कई गुण भी हैं जो वितरित सिस्टम में लागू करना मुश्किल है। जैसे:

• वितरित लेनदेन का समर्थन;
  
• भौगोलिक रूप से वितरित डेटा केंद्रों के बीच पढ़ने के संचालन की वैश्विक स्थिरता , अर्थात। डेटा जो विभिन्न डीसी से रीड ऑपरेशंस को लौटाता है वह हमेशा सुसंगत और सुसंगत होता है।
  

इसके अलावा, स्पैनर में DBMS के लिए अधिक विशिष्ट विशेषताएं हैं, जैसे:

• "अतीत से" डेटा की गैर-अवरुद्ध रीडिंग (अतीत में);
  
• केवल-पढ़ने के लिए ताले की कमी;
  
• डेटा तालिकाओं के स्कीमा में परमाणु परिवर्तन;
  
• तुल्यकालिक प्रतिकृति
  
• कंप्यूटिंग नोड्स और डीसी दोनों की स्वचालित विफलता प्रसंस्करण;
  
• कंप्यूटिंग नोड्स और डेटा केंद्रों के बीच स्वचालित डेटा माइग्रेशन।
  

आर्किटेक्चर

प्रत्येक तैनात उदाहरण ( परिनियोजन ) स्पैनर को यूनिवर्स कहा जाता है और इसमें शामिल हैं:

• ब्रह्मांड मास्टर - एक मास्टर प्रक्रिया जो कई क्षेत्रों के काम का समन्वय करती है (स्पैनर की शब्दावली में - क्षेत्र );
  
• कई ज़ोन भौगोलिक रूप से वितरित किए जाते हैं (आम तौर पर) स्पैनर ज़ोन। ज़ोन तार्किक अलगाव और भौतिक दोनों की एक इकाई है।
  

प्रत्येक जोन, बदले में, इसमें शामिल हैं:

• ज़ोनमास्टर - ज़ोन (सिंगलटन) की मास्टर प्रक्रिया;
  
• कई - सैकड़ों से कई हजार तक - स्पैनसरवियर्स ;
  
• स्थान प्रॉक्सी - ग्राहकों के लिए आवश्यक डेटा के लिए जिम्मेदार स्पांसर्वर्स के स्थान को प्रकट करता है;
  
• प्लेसमेंट ड्राइवर - एक प्रक्रिया (और साथ ही ज़ोनमास्टर, सिंगलटन) जो विभिन्न ज़ोन के बीच डेटा की गति को नियंत्रित करता है।
  

शोध पत्र [8] केवल स्पैनसेवर की विशेषताओं और आंतरिक विवरणों का विवरण देता है।

प्रत्येक स्पैनसेवर में 100 से 1000 डेटा संरचनाएं होती हैं जिन्हें टैबलेट कहा जाता है।

(key: string, timestamp: int64) -> string


बिगटेबल के विपरीत, स्पैनर संग्रहीत डेटा की संरचना में इस डेटा को जोड़ने के लिए एक टाइम स्टैम्प जोड़ता है, जो बहु-संस्करण डेटा समर्थन के कार्यान्वयन के लिए एक महत्वपूर्ण परिचय है।

स्पैनर में डेटा मॉडल योजनाबद्ध डेटा, एसक्यूएल जैसी क्वेरी भाषा, और वितरित लेनदेन के समर्थन के साथ आधा-रिलेशनल टेबल है।

इस तरह के सॉफ्टवेयर सिस्टम - ट्रूटाइम एपीआई सॉफ्टवेयर इंटरफेस के लिए सबसे नवीन नवाचारों में से एक के लिए उत्तरार्द्ध (लेनदेन) का कार्यान्वयन संभव हो गया है।

TrueTime

वैश्विक समय प्रणालियों (विशेष रूप से परमाणु घड़ियों) के लिए एक सामान्य कार्य सबसे सटीक समय प्रदान करना है। ट्रूटाइम एपीआई ग्राहकों के लिए वैश्विक समय प्रदान करता है + कुछ अनिश्चितता - टीटर्नवल।

यह आवश्यक है क्योंकि वितरित प्रणालियों के लिए नोड्स की तात्कालिक प्रतिक्रिया की गारंटी देना बहुत मुश्किल है, जो वितरित भंडारण में डेटा स्थिरता सुनिश्चित करने के लिए महत्वपूर्ण है।

दृष्टिकोण पर, जब सटीक समय के बजाय, कुछ समय अंतराल की वापसी, 2 प्रतिस्पर्धी लेनदेन का निष्पादन कम हो जाता है (सरलीकृत) इन लेन-देन की तुलना में टीटीनर्वल। यदि लेन-देन का TTinterval अंतर नहीं करता है, तो आप निश्चित रूप से यह पता लगा सकते हैं कि लेन-देन में से कौन सा पहले पूरा होना चाहिए। यदि TTinterval चौराहों को काटता है, तो आप केवल कुछ हद तक संभाव्यता के साथ कह सकते हैं। (TrueTime सेवा के हार्डवेयर भाग के बारे में और जानें ।)

स्पैनर में ही, पैक्सोस एल्गोरिथ्म का उपयोग करके कार्यान्वित 2-चरण कमिट प्रोटोकॉल द्वारा लेनदेन के दौरान डेटा स्थिरता सुनिश्चित की जाती है।

सीमाएं और सीएपी

प्रकाशन के समय, शोध पत्र [8], स्पैनर ने लोड संतुलन के उद्देश्यों के लिए द्वितीयक सूचकांक और स्वत: पुनरुत्थान का समर्थन नहीं किया। इसके अलावा, [8] के लेखक ध्यान दें कि स्पैनर जटिल एसक्यूएल प्रश्नों को कुशलतापूर्वक निष्पादित करने में सक्षम नहीं है।

स्पैनर भी कैप प्रमेय का "प्रतिनियुक्ति" नहीं है। स्पैनर एक एपी प्रणाली नहीं है, इसके NoSQL प्रकृति के बावजूद; के रूप में एक CA- प्रणाली नहीं है, के बावजूद समर्थन ACID सिद्धांतों का समर्थन करने का प्रयास। डेटा स्थिरता बनाए रखने के लिए स्पैनर "बलिदान" की उपलब्धता और इसलिए एक सीपी प्रणाली है।

परिणाम

स्पैनर ने दो दुनियाओं - रिलेशनल DBMS और NoSQL - से सर्वश्रेष्ठ विचार लिए और एक NewSQL पीढ़ी DBMS है ।

इस तरह की मापनीयता के साथ पेटाबाइट्स में जाने वाले डेटा की मात्रा पर डेटा केंद्रों के बीच वितरित लेनदेन के लिए समर्थन निश्चित रूप से संरचित और अर्ध-संरचित डेटा के भंडारण के लिए किसी भी प्रणाली के लिए एक अत्यंत प्रभावशाली विशेषता है। यह अवसर काफी हद तक दो दृष्टिकोणों के सहजीवन का परिणाम था: डेटा भंडारण के लिए एक दृष्टिकोण - डेटा अपरिवर्तनीय है और इसमें एक प्रतिबद्ध टाइमस्टैम्प है - और वैश्विक समय प्राप्त करने की अभिनव अवधारणा - ट्रूटाइम।

स्रोतों की सूची *

[Cor] जेम्स सी। कॉर्बेट, जेफरी डीन, माइकल एपस्टीन, एंड्रयू फेक्स, क्रिस्टोफर फ्रॉस्ट, जे जे फुरमैन, एट अल। स्पैनर: Google का ग्लोबली-डिस्ट्रिब्यूटेड डेटाबेस। OSDI, 2012 की कार्यवाही।
* चक्र तैयार करने के लिए उपयोग किए जाने वाले स्रोतों की एक पूरी सूची ।


दिमित्री पेटुखोव,
एमसीपी, पीएचडी छात्र , आईटी लाश,
लाल रक्त कोशिकाओं के बजाय कैफीन के साथ एक व्यक्ति।