यैंडेक्स बादल कैसे व्यवस्थित होते हैं: अण्डाकार

पिछले कुछ वर्षों में, आईटी दुनिया में एक फैशनेबल प्रवृत्ति दिखाई दी है - नए उत्पादों को विकसित करने के लिए सभी "क्लाउड" का उपयोग। बहुत सारे सार्वजनिक क्लाउड प्रदाता नहीं हैं, उनमें से सबसे लोकप्रिय अमेज़ॅन हैं। हालांकि, कई कंपनियां किसी के लिए निजी डेटा पर भरोसा करने के लिए तैयार नहीं हैं, जबकि वे इसे सुरक्षित रूप से संग्रहीत करना चाहते हैं, और इसलिए निजी छोटे बादल बढ़ाते हैं।

किसी भी बादल में दो मुख्य घटक होते हैं: एक एकल प्रवेश बिंदु (ईटीवी) और क्लाउड मैजिक (ओम)। अमेज़न S3 क्लाउड स्टोरेज पर विचार करें: ETB एक काफी सुविधाजनक REST API का उपयोग करता है, और क्लाउड एल्वेस डॉलर द्वारा संचालित होते हैं। S3 में छोटी वीडियो फाइल या एक डेटाबेस रखने की इच्छा रखने वाली कंपनियां कैलकुलेटर पर गणना करती हैं कि वे योजनाबद्ध भार के लिए प्रति माह भुगतान करेंगे या नहीं।

यह लेख एक अन्य क्लाउड स्टोरेज के बारे में है जिसमें कल्पित आत्मा की स्वतंत्रता, बिजली पर फ़ीड होती है और उन्हें " कोका " की भी थोड़ी आवश्यकता होती है।

इसे एलिप्टिक्स रिपॉजिटरी कहा जाता है।

इसके निर्माण का इतिहास 2007 से POHMELFS के हिस्से के रूप में है। अगले वर्ष, एलिप्टिक्स को एक अलग परियोजना में लिया गया था, और इसने डेटा भंडारण को वितरित करने के लिए कई अलग-अलग तरीकों की कोशिश की, उनमें से कई जटिलता के कारण फिट नहीं हुए, क्योंकि वास्तविक जीवन में बहुत कम व्यावहारिकता थी। अंत में, इसका लेखक यूजीन पॉलाकोव एक आधुनिक रूप में एलिप्टिक्स के निर्माण के लिए आया था।

दोष सहिष्णुता

यह पाँच तत्वों में से पहला है जिसे एलिप्टिक्स ने संरक्षित करने का लक्ष्य रखा है। कारें लगातार टूट जाती हैं, हार्ड ड्राइव विफल हो जाते हैं, और समय-समय पर हड़ताल पर जाते हैं और छाल फेंकते हैं। ब्लैक मैजिक और जादू टोना की ताकत के कारण डेटा सेंटर किसी भी समय हमारी दुनिया से बाहर हो सकता है। इनमें से सबसे स्पष्ट हैं केबल टूटना और बिजली का नुकसान।


हर कोई लंबे समय से जानता है कि अगर कोई ड्राइव या सर्वर काट दिया जाए तो क्या करना चाहिए। लेकिन कोई भी आश्चर्य नहीं करता कि डेटा केंद्र, अमेज़ॅन क्षेत्र में विफल होने पर, या किसी अन्य बड़ी घटना के होने पर उनकी प्रणाली का क्या होगा। एलिप्टिक्स मूल रूप से समस्याओं के इस वर्ग को हल करने की योजना बनाई गई थी।

इलिप्टिक्स में, सभी दस्तावेजों को 512-बिट कुंजियों का उपयोग करके संग्रहीत किया जाता है, जो दस्तावेज़ नाम के sha512 फ़ंक्शन के परिणामस्वरूप प्राप्त किए जाते हैं। सभी कुंजियों को डिस्ट्रीब्यूटेड हैश टेबल (DHT) के रूप में दर्शाया जा सकता है, जिसमें 0 से 2 ⁵¹² तक के मान के साथ रिंग होती है। अंगूठी को एक समूह में सभी मशीनों के बीच यादृच्छिक रूप से विभाजित किया जाता है, और प्रत्येक कुंजी को एक साथ कई अलग-अलग समूहों में संग्रहीत किया जा सकता है। एक लगभग यह मान सकता है कि एक समूह एक डेटा सेंटर है। एक नियम के रूप में, यैंडेक्स सभी दस्तावेजों की 3 प्रतियां संग्रहीत करता है, और अगर कुछ मशीन विफल हो जाती है, तो हम रिंग के एक हिस्से की केवल एक प्रति खो देते हैं। यहां तक ​​कि अगर पूरा डेटा केंद्र विफल हो जाता है, तो जानकारी खो नहीं जाती है, हमारे पास कम से कम दो और प्रतियों में सभी दस्तावेज हैं, और इसलिए कल्पित बौने अभी भी लोगों को खुशी दे सकते हैं।

तानाना

एल्फ प्रशासक हमेशा अतिरिक्त मशीनों को जोड़ने में सक्षम होना चाहते हैं, और एलिप्टिक्स यह कर सकते हैं! जब आप समूह में एक नया कंप्यूटर कनेक्ट करते हैं, तो यह उन ^2,512 कुंजी से यादृच्छिक अंतराल लेता है, और इन चाबियों के लिए बाद के सभी अनुरोध इस मशीन पर आ जाएंगे।

यदि हमारे पास तीन समूह हैं, जिनमें से प्रत्येक में सैकड़ों मशीनें हैं, तो नए जोड़े जाने से पुनर्मूल्यांकन होगा और परिणामस्वरूप, उन्हें पुनर्स्थापित करने के लिए नेटवर्क पर डेटा के बड़े संस्करणों को स्थानांतरित करना होगा। जो लोग इसके लिए उपयुक्त नहीं हैं, उनके लिए हमने लोड बैलेंसिंग सिस्टम - मास्टरमाइंड विकसित किया है, जो कोकीन क्लाउड प्लेटफॉर्म पर चलता है। मास्टरमाइंड पीयर-टू-पीयर पीयर का एक सेट है जो यह निर्धारित करता है कि प्रत्येक सर्वर पर लोड के आधार पर किसी विशेष फ़ाइल को किस समूह में संग्रहीत किया जाएगा। यहां मुश्किल गणितीय मैजिक भी है - खाली स्थान, डिस्क लोड, सीपीयू लोड, स्विच लोडिंग, ड्रॉप दर और बहुत कुछ ध्यान में रखा गया है। मास्टरमाइंड नोड्स में से किसी की विफलता की स्थिति में, सब कुछ पहले की तरह काम करना जारी रखता है। यदि समूह का आकार छोटा रखा जाता है, तो नई मशीनों को जोड़ते समय उनके लिए एक नया समूह जारी करना और मास्टरमाइंड को इसके बारे में बताना पर्याप्त होगा। इस स्थिति में, फ़ाइल पहचानकर्ता में कौन से समूह खोजे जाने चाहिए, इसकी जानकारी दी गई है। यह तंत्र वास्तव में अंतहीन और बहुत ही सरल भंडारण विस्तार की अनुमति देता है।

डेटा सुरक्षा

आइए देखें कि पुराने डेटा के साथ सिस्टम क्या करता है जो गलत मशीनों पर संतुलन के बाद बदल गया या यहां तक ​​कि खो गया।

इस मामले में, एलिप्टिक्स एक वसूली प्रणाली प्रदान करता है। उसके काम की योजना इस प्रकार है: वह सभी मशीनों से गुजरती है और, यदि डेटा उसकी खुद की मशीन पर नहीं है, तो उन्हें दाईं ओर ले जाया जाता है। यदि यह पता चला है कि कुछ दस्तावेज़ तीन प्रतियों में नहीं हैं, तो इस प्रक्रिया के दौरान दस्तावेज़ को आवश्यक मशीनों द्वारा गुणा किया जाएगा। इसके अलावा, यदि सिस्टम मास्टरमाइंड के साथ काम करता है, तो फ़ाइल स्थान का समूह नंबर मेटा-सूचना से लिया जाता है। पुनर्प्राप्ति गति कई कारकों पर निर्भर करती है और कुंजी पुनर्प्राप्ति की सटीक गति को नहीं कहा जा सकता है, लेकिन, लोड परीक्षण शो के रूप में, टोंटी मशीनों के बीच नेटवर्क चैनल है, जिसका उपयोग डेटा स्थानांतरित करने के लिए किया जाता है।

गति

एलिप्टिक्स में कम ओवरहेड होता है और कैश के साथ काम करने पर एक मशीन पर प्रति सेकंड 240 हजार तक पढ़ने में सक्षम होता है। डिस्क के साथ काम करते समय, गति स्वाभाविक रूप से गिरती है और डिस्क से डेटा पढ़ने की गति पर टिकी हुई है।

एलिप्टिक्स के आधार पर, हिस्ट्रीबैंक प्रोजेक्ट को लागू किया गया है। इसकी मदद से, हम विभिन्न बाहरी घटनाओं से आने वाले लॉग को स्टोर करते हैं। परीक्षण के दौरान, तीन मशीनों के एक समूह ने शांतिपूर्वक और सुचारू रूप से प्रति सेकंड 10 हजार अनुरोधों के भार का सामना किया, जब 30 मिलियन उपयोगकर्ताओं से लॉग लिखे गए। इसी समय, उनमें से 10% ने सभी डेटा का 80% उत्पन्न किया। कुल 30 मिलियन उपयोगकर्ताओं ने हर दिन लगभग 500 मिलियन अपडेट किए। हालाँकि, केवल इस डेटा को संग्रहीत करना बहुत आसान होगा। इसलिए, सिस्टम को इस तरह से परीक्षण किया गया था कि लोड के तहत, यह उन सभी उपयोगकर्ताओं की सूची प्राप्त करने की अनुमति देता है जो किसी भी दिन के लिए किसी भी उपयोगकर्ता के लॉग को देखने के लिए एक निश्चित अवधि (दिन / महीने) के लिए सक्रिय थे, और उपयोगकर्ता डेटा में किसी भी द्वितीयक अनुक्रमणिका को जोड़ना संभव था।



इसके अलावा, एलिप्टिक्स के आधार पर, यैंडेक्स ने Yandex.Music, Photos, Maps, Market, ऊर्ध्वाधर खोजों, लोगों की खोज, बैकअप मेल जैसी सेवाओं का निर्माण किया है। ले जाने की तैयारी और Yandex.Disk।

वास्तुकला की सादगी

एलिप्टिक्स में, क्लाइंट सीधे सर्वर से कनेक्ट होते हैं, और यह आपको निम्नलिखित की अनुमति देता है:

• एक साधारण वास्तुकला है;
• सुनिश्चित करें कि लेनदेन सही ढंग से किया जाता है;
• हमेशा पता है कि समूह में कौन सी मशीन किसी विशेष कुंजी के लिए जिम्मेदार है।

डेटा भंडारण सेवा के उपयोगकर्ताओं के लिए, निम्नलिखित एपीआई हैं जिनके साथ आप आसानी से डेटा को लिख, हटा, पढ़ और संसाधित कर सकते हैं:

• अतुल्यकालिक पुस्तकालय C ++ 11 में
• अजगर बाँधना
• HTTP FastCGI और TheVoid पर आधारित है (बूस्ट का उपयोग :: asio)

हालांकि, कोई चांदी की गोली नहीं है, और एलिप्टिक्स की अपनी सीमाएं और समस्याएं हैं:

• आखिरकार संगति। चूंकि एलिप्टिक्स पूरी तरह से वितरित है, इसलिए विभिन्न समस्याओं के मामले में सर्वर वर्तमान के मुकाबले पुरानी फ़ाइल के संस्करण को प्रस्तुत कर सकता है। कुछ मामलों में, यह लागू नहीं हो सकता है, फिर सैगिंग प्रतिक्रिया समय के कारण, आप डेटा का अनुरोध करने के अधिक विश्वसनीय तरीकों का उपयोग कर सकते हैं।
• इस तथ्य के कारण कि क्लाइंट समानांतर में कई सर्वरों को डेटा लिखता है, क्लाइंट और सर्वर के बीच नेटवर्क एक अड़चन बन सकता है।
• उच्च स्तरीय प्रश्नों के लिए एपीआई सुविधाजनक नहीं हो सकता है। फिलहाल, हम सुविधाजनक एसक्यूएल-जैसे डेटा क्वेरी प्रदान नहीं करते हैं।
• एलिप्टिक्स में उच्च-स्तरीय लेन-देन का समर्थन भी नहीं है, इसलिए यह गारंटी देना असंभव है कि आदेशों का एक समूह या तो सभी को निष्पादित करेगा या नहीं।

निम्नलिखित लेखों में, हम एलिप्टिक्स के उपयोग का एक उदाहरण देंगे और हमें और अधिक तकनीकी विवरण बताएंगे: कैश की आंतरिक संरचना, हमारे इबोले बैकेंड का संचालन, डेटा स्ट्रीमिंग, माध्यमिक अनुक्रमित, और बहुत कुछ।