ओपनस्टैक स्विफ्ट के साथ क्लाउड स्टोरेज के लिए एक बहु-क्षेत्र क्लस्टर कॉन्फ़िगर करना

लेखक: ओलेग गेल्बुख

अंतिम गिरावट, स्विफ्टस्टैक टीम ने बहु-क्षेत्रीय ओपनस्टैक ऑब्जेक्ट स्टोरेज क्लस्टर (परियोजना कोड नाम स्विफ्ट) बनाने के लिए अपने दृष्टिकोण का एक दिलचस्प अवलोकन पोस्ट किया है। यह दृष्टिकोण भौगोलिक रूप से वितरित स्विफ्ट क्लस्टर लेआउट के साथ प्रतिकृतियों की कम संख्या (3 + 3 के बजाय 3 + 3, उदाहरण के लिए) के साथ अच्छी तरह से चला जाता है, जो हमने उसी समय के आसपास वीबेक्स के साथ काम किया था। मैं हमारे दृष्टिकोण का संक्षेप में वर्णन करना चाहता हूं और कार्यान्वयन योजना और स्विफ्ट कोड में प्रस्तावित परिवर्तनों पर ध्यान केंद्रित करना चाहता हूं।

ओपनस्टैक स्विफ्ट की वर्तमान स्थिति

मैं वर्तमान स्विफ्ट एल्गोरिदम के एक संक्षिप्त अवलोकन के साथ शुरू करना चाहता हूं, फिर यह समझाने के लिए कि भौगोलिक रूप से अलग-अलग क्षेत्रों से एक क्लस्टर बनाने के लिए वास्तव में क्या करने की आवश्यकता है।

अंगूठी

स्विफ्ट क्लस्टर स्टैंडर्ड रिंग (रिंग या हैश रिंग) एक डेटा संरचना है जो आपको स्टोरेज डिवाइस को ज़ोन में अलग करने की अनुमति देती है। एसेक्स रिलीज में शामिल स्विफ्ट-रिंग-बिल्डर स्क्रिप्ट यह सुनिश्चित करती है कि वस्तुओं की प्रतिकृतियां एक ही क्षेत्र में न गिरें।

रिंग संरचना में निम्नलिखित घटक शामिल हैं:
- डिवाइस सूची : रिंग में ज्ञात सभी स्टोरेज डिवाइस (डिस्क) शामिल हैं। इस सूची का प्रत्येक तत्व एक शब्दकोश है जिसमें डिवाइस पहचानकर्ता, इसका प्रतीकात्मक नाम, ज़ोन पहचानकर्ता, डेटा भंडारण नोड का आईपी पता शामिल है, जिस पर स्टोरेज डिवाइस स्थापित है, नेटवर्क पोर्ट, वजन और मेटाडेटा।
- विभाजन वितरण तालिका : प्रतिकृतियों की संख्या के बराबर पंक्तियों की संख्या के साथ एक द्वि-आयामी सरणी। सरणी के प्रत्येक सेल में डिवाइस की पहचानकर्ता (उपकरणों की सूची से) होता है, जिस पर कॉलम इंडेक्स के अनुरूप अनुभाग की प्रतिकृति स्थित होती है ...
- विभाजन क्षेत्र संख्या: पथ से MD5 चेकसम से बिट्स की संख्या (/ खाता / कंटेनर / objec), जो विभाजन में संभावित MD5 हैश के संपूर्ण स्थान के विभाजन को निर्धारित करता है।

फोल्सम संस्करण में, रिंग फ़ाइल प्रारूप में परिवर्तन किए गए थे। ये परिवर्तन प्रसंस्करण क्षमता में काफी वृद्धि करते हैं और रिंग बैलेंसिंग एल्गोरिदम को फिर से परिभाषित करते हैं। सख्त स्थिति, जिसके लिए अलग-अलग क्षेत्रों में प्रतिकृतियों के वितरण की आवश्यकता होती है, को बहुत अधिक लचीले एल्गोरिथम द्वारा प्रतिस्थापित किया गया था जो कि ज़ोन, नोड्स और उपकरणों को परतों में व्यवस्थित करता है।

रिंग बैलेंसर प्रतिकृतियों को यथासंभव अलग करने की कोशिश करता है; अधिमानतः विभिन्न क्षेत्रों में, लेकिन यदि केवल एक क्षेत्र उपलब्ध है, तो विभिन्न नोड्स में; और यदि केवल एक नोड उपलब्ध है, तो नोड पर विभिन्न उपकरणों के लिए। यह एल्गोरिथ्म, "अधिकतम वितरण" के सिद्धांत पर काम कर रहा है, संभवतः भौगोलिक रूप से वितरित क्लस्टर का समर्थन करता है। शीर्ष पर एक क्षेत्र-स्तरीय आरेख जोड़कर इसे प्राप्त किया जा सकता है। एक क्षेत्र अनिवार्य रूप से एक स्थान के साथ क्षेत्रों का एक समूह है, यह एक रैक या संपूर्ण डेटा केंद्र हो।

हमारे प्रस्ताव में, देव डिवाइस शब्दकोश में एक क्षेत्र को उसी क्षेत्र (क्षेत्र) में परिभाषित किया गया है।

प्रॉक्सी सर्वर

प्रॉक्सी सर्वर ग्राहकों को सार्वजनिक स्विफ्ट एपीआई प्रदान करता है और वस्तुओं, कंटेनरों और खातों के साथ बुनियादी संचालन करता है, जिसमें PUT अनुरोध के साथ लिखना और GET अनुरोध के साथ पढ़ना शामिल है।
PUT अनुरोधों की सेवा करते समय, प्रॉक्सी सर्वर निम्नलिखित एल्गोरिदम का अनुसरण करता है:

1. प्रारूप / खाते [/ कंटेनर [/ वस्तु]] में वस्तु के पथ के एमडी 5 चेकसम की गणना करता है।

2. एमडी 5 चेकसम के पहले एन बिट्स के रूप में विभाजन संख्या की गणना करता है।

3. विभाजन वितरण तालिका से डिवाइस का चयन करता है, जिस पर गणना किए गए विभाजन की प्रतिकृतियां संग्रहीत की जाती हैं।

4. चरण 3 में पाए जाने वाले सभी उपकरणों के लिए उपकरणों की सूची से डेटा भंडारण नोड के आईपी पते और पोर्ट का चयन करता है।

5. यह संबंधित बंदरगाहों पर सभी नोड्स के लिए एक कनेक्शन स्थापित करने की कोशिश करेगा, अगर यह नोड्स के कम से कम आधे से कनेक्ट करना असंभव है, तो PUT अनुरोध को अस्वीकार कर देता है।

6. सभी नोड्स पर ऑब्जेक्ट को डाउनलोड करने (या एक खाता या कंटेनर बनाने) की कोशिश करता है जिससे एक कनेक्शन स्थापित किया गया है; यदि कम से कम आधे डाउनलोड रद्द हो जाते हैं, तो PUT अनुरोध को अस्वीकार कर देता है।

7. यदि डेटा एन / 2 + 1 नोड्स (जहां एन चरण # 4 में पाया नोड्स की संख्या है) पर अपलोड किया जाता है, तो यह क्लाइंट को एक सफल PUT अनुरोध की पुष्टि भेजता है।

GET अनुरोधों की सेवा करते समय, सामान्य रूप से प्रॉक्सी सर्वर निम्नलिखित एल्गोरिथ्म करता है:

1. PUT अनुरोध प्रसंस्करण एल्गोरिथ्म के 1-4 चरणों को दोहराता है और वस्तुओं की प्रतिकृतियों को संग्रहित करने वाले नोड्स की एक सूची निर्धारित करता है।

2. फेरबदल फ़ंक्शन का उपयोग करके नोड्स की सूची को फेरबदल करता है और परिणामी सूची में पहले से जोड़ता है।

3. यदि कनेक्शन स्थापित करना संभव नहीं है, तो सूची से अगले नोड पर आगे बढ़ता है।

4. यदि कनेक्शन स्थापित है, तो यह अनुरोध के जवाब में ग्राहक को डेटा प्रसारित करना शुरू कर देता है।

प्रतिकृति

स्विफ्ट में प्रतिकृति विभाजन पर काम करती है, न कि व्यक्तिगत वस्तुओं पर। रेप्लिकेटर वर्कफ़्लो समय-समय पर कस्टम अंतराल के साथ शुरू होता है। डिफ़ॉल्ट अंतराल 30 सेकंड है।

सामान्य रूप से प्रतिकृति निम्न एल्गोरिथम है:

1. एक प्रतिकृति कार्य बनाएँ। यही है, नोड पर सभी उपकरणों को स्कैन करें, सभी पाए गए उपकरणों को स्कैन करें और सभी विभाजनों की एक सूची ढूंढें, और फिर प्रत्येक अनुभाग के लिए एक प्रतिकृति शब्दकोश बनाएं।

{
'पथ': <path_to_partition>,
'नोड्स': [replica_node1, replica_node2, ...],
'हटाएँ': <true | गलत>
'विभाजन':}

- <path_to_partition> फ़ाइल सिस्टम में विभाजन का पथ (/ srv / नोड // ऑब्जेक्ट /) है

- [replica_node1, replica_node2, ...] नोड्स की एक सूची है जो विभाजन के प्रतिकृतियों को संग्रहीत करती है। सूची वस्तुओं के लिए अंगूठी से आयात की जाती है।

- इस खंड में प्रतिकृतियों की संख्या क्लस्टर में प्रतिकृतियों की कॉन्फ़िगर संख्या से अधिक होने पर 'डिलीट' सही हो जाता है।

- अनुभाग पहचानकर्ता संख्या का प्रतिनिधित्व करता है।

2. प्रत्येक अनुभाग को प्रतिकृति कार्य के अनुसार संसाधित करें। वह है:

- यदि अनुभाग को हटाने के लिए चिह्नित किया जाता है, तो रेप्लिकेटर नौकरी ['पथ'] निर्देशिका के प्रत्येक उपनिर्देशिका को नौकरी ['नोड्स'] सूची से मैप करता है, प्रत्येक नोड पर एक अनुरोध अनुरोध भेजता है, जिस पर प्रतिकृति स्थित है, और नौकरी ['पथ'] निर्देशिका को हटा देता है।

- यदि अनुभाग को हटाने के लिए चिह्नित नहीं किया गया है, तो रेप्लिकेटर नौकरी के सभी सबफ़ोल्डर्स की सामग्री की जांचों की गणना करता है ['पथ'] निर्देशिका (यानी, अनुभाग में खाता / कंटेनर डेटाबेस और ऑब्जेक्ट फ़ाइलें)। रेप्लिकेटर नौकरी ['विभाजन'] अनुभाग के सभी प्रतिकृतियों के लिए एक अनुरोध अनुरोध जारी करता है और चेकसम पत्राचार अनुभाग के दूरस्थ सबफ़ोल्डर्स से प्रतिक्रिया प्राप्त करता है। यह तब चेकसम मैपिंग की तुलना करता है और दूरस्थ उप-नोड्स में संशोधित सबफ़ोल्डर्स भेजने के लिए rsync का उपयोग करता है। REPLICATE अनुरोध पुनः सबमिट करने से प्रतिकृति सफलता सत्यापित होती है।

3. यदि तथाकथित "मुख्य" प्रतिकृति तक कोई पहुंच नहीं है, तो प्रतिकृति रिंग क्लास के get_more_node विधि का उपयोग करती है। यह विधि "स्पेयर" नोड्स के सेट को निर्धारित करने के लिए एक विशिष्ट निर्धारक एल्गोरिथ्म का उपयोग करती है जहां आप इस खंड की एक अस्थायी प्रतिलिपि बचा सकते हैं ... एल्गोरिथ्म उस क्षेत्र को निर्धारित करता है जिसमें "मुख्य" उपकरण विफल हो गया, और अस्थायी को बचाने के लिए किसी अन्य क्षेत्र से "स्पेयर" डिवाइस का चयन करता है। अनुभाग प्रतिकृतियां। यदि कोई अन्य डिवाइस भी उपलब्ध नहीं है, तो तीसरे क्षेत्र से एक नोड चुना जाता है, और चक्र तब तक जारी रहता है जब तक कि सभी क्षेत्र और सभी नोड्स एन्यूमरेटेड नहीं हो जाते।

ओपनस्टैक स्विफ्ट में प्रस्तावित परिवर्तन

एक रिंग में "क्षेत्र" स्तर जोड़ना

हम उपकरणों की सूची में एक क्षेत्र फ़ील्ड जोड़ने का सुझाव देते हैं। नीचे दिए गए अनुसार रिंग को संतुलित करते समय इस पैरामीटर को रिंगब्यूलर वर्ग का उपयोग करना चाहिए। क्षेत्र पैरामीटर सिस्टम में एक अतिरिक्त स्तर है जो आपको समूह क्षेत्रों की अनुमति देता है। इस प्रकार, सभी डिवाइस जो एक क्षेत्र बनाते हैं, जो उस क्षेत्र से संबंधित हैं।

इसके अलावा, क्षेत्रों को एक अतिरिक्त संरचना के रूप में रिंग में जोड़ा जा सकता है - कुंजी के रूप में क्षेत्रों के साथ एक शब्दकोश और मूल्यों के रूप में ज़ोन की सूची, उदाहरण के लिए:

कुंजी (क्षेत्र)	मान (क्षेत्रों की सूची)
ऑस्टिन	1,2,3
सैन जोस	4,5,6

यह ध्यान रखना महत्वपूर्ण है कि एक क्षेत्र केवल एक क्षेत्र से संबंधित हो सकता है।

इस मामले में, क्षेत्रों को पिछले उपयोग के समान उपयोग किया जाता है, लेकिन क्षेत्रीय क्षेत्र के असाइनमेंट के शब्दकोश को संसाधित करने और यह निर्धारित करने के लिए कि किसी विशेष उपकरण किस क्षेत्र का है, रिंग क्लास को अतिरिक्त कोड शामिल करना चाहिए।

डिफॉल्ट रीजन को एक ज़ोन में असाइन करना, सभी स्विप्स को एक एकल डिफॉल्ट रीजन को स्टैंडर्ड स्विफ्ट बिहेवियर खेलने के लिए असाइन करना चाहिए।

स्विफ्ट परियोजना की नवीनतम रिलीज में, क्षेत्रीय स्तर का समर्थन पहले ही रिंग में जोड़ा जा चुका है, जिसका अर्थ है स्विफ्ट के आधार पर भौगोलिक रूप से वितरित वस्तु भंडारण के पूर्ण कार्यान्वयन की दिशा में एक महत्वपूर्ण कदम।

ठीक धुन RingBuilder संतुलन एल्गोरिथ्म

RingBuilder संतुलन एल्गोरिथ्म डिवाइस सूची में क्षेत्र सेटिंग को पहचानना चाहिए। एल्गोरिथ्म को विभिन्न तरीकों से प्रतिकृतियां वितरित करने के लिए कॉन्फ़िगर किया जा सकता है। नीचे हम प्रोटोटाइप के विकास के लिए चुने गए वितरण एल्गोरिथम के संभावित कार्यान्वयन में से एक को प्रस्तुत करते हैं।

वैकल्पिक वितरण एल्गोरिथम

विभाजन प्रतिकृतियों को निम्नलिखित शर्तों के तहत उपकरणों पर रखा जाना चाहिए:
- रेप्लिका को विभिन्न समूहों से संबंधित उपकरणों पर उच्चतम संभव स्तर (रिंग बैलेंसिंग एल्गोरिदम के मानक व्यवहार) पर स्थित होना चाहिए।

- एन प्रतिकृतियां और एम क्षेत्र (जोन समूह) के लिए, प्रत्येक क्षेत्र में गिरने वाले प्रतिकृतियों की संख्या एन / एम डिवीजन से कोटेशन के पूर्णांक संख्या के बराबर है। बाकी प्रतिकृतियां एक क्षेत्र में जोड़ी जाती हैं (जो इस खंड के लिए मुख्य है)।

- किसी क्षेत्र में क्षेत्र की संख्या से अधिक प्रतिकृतियां नहीं हो सकती हैं।

उदाहरण के लिए, यदि एन = 3 और एम = 2, इस एल्गोरिथ्म के साथ हमारे पास एक रिंग होगी जिसमें प्रत्येक क्षेत्र में एक प्रतिकृति शामिल है (अंश 3/2 का पूर्णांक भाग 1 है), और शेष एक प्रतिकृति दो क्षेत्रों में से एक में शामिल है, बेतरतीब ढंग से चुना गया। नीचे दिया गया चित्र ऊपर उदाहरण में क्षेत्र द्वारा प्रतिकृतियों के वितरण को दर्शाता है।


एक दूरस्थ क्षेत्र में एक प्रॉक्सी सर्वर से स्टोरेज नोड के लिए प्रत्यक्ष पीयूटी अनुरोध करना इतना सरल नहीं है: ज्यादातर मामलों में, हमारे पास क्लस्टर के आंतरिक नेटवर्क के बाहर तक पहुंच नहीं हो सकती है। इस प्रकार, प्रारंभिक कार्यान्वयन के लिए, हम मानते हैं कि केवल स्थानीय प्रतिकृतियां दर्ज की जाती हैं जब PUT अनुरोध निष्पादित होता है, और दूरस्थ क्षेत्रीय प्रतिकृतियां प्रतिकृति प्रक्रिया द्वारा बनाई जाती हैं।


डिफ़ॉल्ट रूप से, प्रतिकृतियों की संख्या तीन है, और क्षेत्र एक हैं। यह मामला मानक स्विफ्ट कॉन्फ़िगरेशन और रिंग बैलेंसिंग एल्गोरिदम को पुन: पेश करता है।

Get_more_nodes के बारे में एक बार फिर से

जब हम अस्थायी प्रतिकृतियों के लिए "स्पेयर" ज़ोन चुनते हैं, तो क्षेत्रों को पहचानने के लिए रिंग क्लास के get_more_nodes पद्धति में परिवर्तन का प्रस्ताव करते हैं। एल्गोरिथ्म को "स्पेयर" के लिए उम्मीदवारों को सॉर्ट करना चाहिए ताकि जो क्षेत्र में खोई हुई प्रतिकृति शामिल हो, उसे पहले चुना जाए। यदि स्थानीय क्षेत्र में क्षेत्रों तक पहुंच नहीं है (उदाहरण के लिए, क्षेत्रों के बीच नेटवर्क कनेक्शन बंद है), एल्गोरिथ्म नोड को वापस करता है जो बाहरी क्षेत्रों में से एक क्षेत्र से संबंधित है। निम्नलिखित दो योजनाएं दो चरम मामलों के लिए एल्गोरिथ्म का वर्णन करती हैं।

क्षेत्रीय प्रॉक्सी सर्वर

स्विफ्ट प्रॉक्सी सर्वर के लिए कई भौगोलिक रूप से वितरित क्षेत्रों के साथ वातावरण में सही ढंग से काम करने के लिए, इसके बारे में जानकारी होना आवश्यक है कि यह किस क्षेत्र से संबंधित है। डेटा भंडारण सर्वर से कनेक्ट करते समय या सीधे कॉन्फ़िगरेशन फ़ाइल से नेटवर्क विलंबता के विश्लेषण के आधार पर एक प्रॉक्सी सर्वर यह जानकारी प्राप्त कर सकता है। पहला दृष्टिकोण स्विफ्ट (1.8.0) के वर्तमान संस्करण में लागू किया गया है। प्रॉक्सी सर्वर उनमें से प्रत्येक से कनेक्ट होने के बाद प्रतिक्रिया समय के आधार पर डेटा स्टोरेज नोड्स को सॉर्ट करता है, और सबसे तेजी से पढ़ने के लिए चयन करता है। यह दृष्टिकोण रीड रिक्वेस्ट के लिए अच्छी तरह से काम करता है, लेकिन लिखते समय, आपको सभी "मुख्य" स्टोरेज सर्वरों के साथ-साथ संभवतः कई "स्पेयर" लोगों के साथ काम करने की आवश्यकता होती है। इस मामले में, स्थानीय क्षेत्र का निर्धारण करने के लिए कॉन्फ़िगरेशन विधि बेहतर अनुकूल है।

उदाहरण के लिए, प्रॉक्सी सर्वर कॉन्फ़िगरेशन फ़ाइल (प्रॉक्सी- server.conf) के [DEFAULT] अनुभाग में एक क्षेत्र पैरामीटर जोड़कर इसे काफी सरल रूप से लागू किया जाता है:

[DEFAULT]
...
क्षेत्र = सान-जोस

यह पैरामीटर रिंग रीड ऑपरेशन के लिए प्रॉक्सी सर्वर द्वारा उपयोग किया जाता है, साथ ही, संभवतः, जीईटी अनुरोधों की सेवा के लिए नोड्स चुनते समय। हमारा लक्ष्य प्रॉक्सी सर्वर के लिए है जो स्थानीय क्षेत्रों (जो कि प्रॉक्सी सर्वर के समान क्षेत्र से संबंधित हैं) से स्टोरेज नोड से कनेक्ट करना पसंद करते हैं।

स्विफ्टस्टैक लेख में, इस कार्यक्षमता को प्रॉक्सी आत्मीयता कहा जाता है।

एक प्रॉक्सी सर्वर को एक मेजबान से डेटा नहीं पढ़ना चाहिए जो एक बाहरी क्षेत्र से संबंधित है यदि कोई स्थानीय प्रतिकृति उपलब्ध है। यह आपको क्षेत्रों के बीच नेटवर्क कनेक्शन पर लोड को कम करने की अनुमति देता है, और उन क्षेत्रों के बीच नेटवर्क कनेक्शन नहीं होने पर भी काम करता है (परिणामस्वरूप अस्थायी विफलता या क्लस्टर टोपोलॉजी की विशेषताएं)।


हम फिर GET अनुरोध प्रसंस्करण एल्गोरिथ्म (ऊपर देखें) के चरण # 2 में नोड सूची फेरबदल ऑपरेशन को एक ऐसी प्रक्रिया से प्रतिस्थापित करते हैं जो नोड्स को इस तरह से व्यवस्थित करती है कि स्थानीय प्रॉक्सी सर्वर क्षेत्र से संबंधित ड्राइव सूची में पहले हैं। इस छँटाई के बाद, स्थानीय क्षेत्रीय और बाहरी क्षेत्रीय नोड्स की सूचियों को स्वतंत्र रूप से मिलाया जाता है, और फिर बाहरी क्षेत्रीय नोड्स की सूची को स्थानीय क्षेत्रीय नोड्स की सूची में जोड़ा जाता है। एक विकल्प के रूप में, इस स्तर पर, न्यूनतम प्रतिक्रिया समय द्वारा डेटा भंडारण नोड का चयन करने के लिए ऊपर वर्णित विधि का उपयोग किया जा सकता है।

स्विफ्ट में प्रतिकृति

हमारे प्रोटोटाइप में भौगोलिक रूप से वितरित डेटा केंद्रों के बीच प्रतिकृति एक क्षेत्र के साथ एक क्लस्टर के लिए समग्र रूप से क्षेत्रों के लिए काम करती है। हालाँकि, प्रतिकृति प्रक्रिया के भाग के रूप में REPLICATE की एक बड़ी राशि को कम गति वाले WAN कनेक्शन पर क्लस्टर के बीच भेजा जा सकता है। इससे कुल क्लस्टर प्रदर्शन में गंभीर गिरावट आ सकती है।

इस समस्या के लिए एक सरल समाधान के रूप में, प्रतिकृति के लिए एक काउंटर इस तरह से जोड़ें कि हर Nth प्रतिकृति के लिए दूरस्थ क्षेत्र में डिवाइसेस में विभाजन को स्थानांतरित किया जाए। अधिक जटिल समाधानों में पड़ोसी क्षेत्रों में समर्पित प्रतिकृति गेटवे शामिल हो सकते हैं, और यह हमारे अनुसंधान परियोजना के हिस्से के रूप में विकसित किया जाएगा।

मूल लेख अंग्रेजी में