ओपनस्टैक क्लाउड के लिए स्टोरिंग ऑब्जेक्ट्स: कम्पेयरिंग स्विफ्ट और सेफ

लेखक: दिमित्री उकोव

सिंहावलोकन

कई लोग ब्लॉक-स्टोरेज के साथ ऑब्जेक्ट-ओरिएंटेड स्टोरेज को भ्रमित करते हैं, उदाहरण के लिए, iSCSI या FibreChannel (स्टोरेज एरिया नेटवर्क, SAN) के आधार पर, हालांकि वास्तव में उनके बीच कई अंतर हैं। जबकि सिस्टम केवल SAN पर ब्लॉक डिवाइस देखता है (डिवाइस नाम का एक अच्छा उदाहरण / dev / sdb linux है), ऑब्जेक्ट स्टोर तक पहुंच केवल एक विशेष क्लाइंट एप्लिकेशन (उदाहरण के लिए, बॉक्स.कॉम क्लाइंट एप्लिकेशन) का उपयोग करके प्राप्त की जा सकती है।

ब्लॉक स्टोरेज क्लाउड इंफ्रास्ट्रक्चर का एक महत्वपूर्ण हिस्सा है। इसके उपयोग की मुख्य विधियां आभासी मशीनों की छवियों को संग्रहीत कर रही हैं या उपयोगकर्ता फ़ाइलों को संग्रहीत कर रही हैं (उदाहरण के लिए, विभिन्न प्रकार के बैकअप, दस्तावेज़, चित्र)। स्केलेबिलिटी और डेटा अतिरेक सुनिश्चित करते हुए, एंटरप्राइज़-स्तरीय स्टोरेज की तुलना में ऑब्जेक्ट स्टोरेज का मुख्य लाभ कार्यान्वयन लागत बहुत कम है। ऑब्जेक्ट स्टोरेज को लागू करने के दो सबसे आम तरीके हैं। इस लेख में, हम उन दो तरीकों की तुलना करते हैं जो ओपनस्टैक एक इंटरफ़ेस प्रदान करता है।

ओपनस्टैक स्विफ्ट

स्विफ्ट नेटवर्क आर्किटेक्चर

ओपनस्टैक ऑब्जेक्ट स्टोरेज (स्विफ्ट) एक स्केलेबल, वितरित बैकअप ऑब्जेक्ट स्टोरेज प्रदान करता है जो मानकीकृत सर्वर के क्लस्टर का उपयोग करता है। "वितरण" से अभिप्राय यह है कि डेटा के प्रत्येक टुकड़े को भंडारण नोड्स के एक समूह में दोहराया जाता है। प्रतिकृतियों की संख्या को कॉन्फ़िगर किया जा सकता है, लेकिन यह वाणिज्यिक अवसंरचना के लिए कम से कम तीन होना चाहिए।

स्विफ्ट में वस्तुओं तक पहुंच REST इंटरफ़ेस के माध्यम से है। इन वस्तुओं को संग्रहीत, पुनर्प्राप्त या मांग पर अद्यतन किया जा सकता है। ऑब्जेक्ट स्टोरेज को बड़ी संख्या में सर्वरों में आसानी से वितरित किया जा सकता है।

प्रत्येक वस्तु तक पहुंच पथ में तीन तत्व होते हैं:

/ खाता / कंटेनर / वस्तु

ऑब्जेक्ट एक अद्वितीय नाम है जो किसी ऑब्जेक्ट की पहचान करता है। खाते और कंटेनर समूह ऑब्जेक्ट को एक रास्ता प्रदान करते हैं। घोंसले के शिकार खातों और कंटेनरों का समर्थन नहीं किया जाता है।

स्विफ्ट सॉफ्टवेयर में घटक होते हैं, जिसमें अकाउंट प्रोसेसिंग सर्वर, कंटेनर प्रोसेसिंग सर्वर और ऑब्जेक्ट प्रोसेसिंग सर्वर शामिल होते हैं जो भंडारण, प्रतिकृति और कंटेनर और खाता प्रबंधन करते हैं। इसके अतिरिक्त, प्रॉक्सी मशीन नामक एक अन्य मशीन उपयोगकर्ताओं को स्विफ्ट एपीआई प्रदान करती है और अनुरोध पर ग्राहकों से वस्तुओं को स्थानांतरित करती है।

खाता प्रसंस्करण सर्वर एक विशिष्ट खाते के लिए कंटेनर सूची प्रदान करते हैं। कंटेनर प्रसंस्करण सर्वर विशिष्ट कंटेनरों में वस्तुओं की सूची प्रदान करते हैं। ऑब्जेक्ट प्रोसेसिंग सर्वर केवल एक पूर्ण पथ होने पर ऑब्जेक्ट को स्वयं लौटाता है या संग्रहीत करता है।

के छल्ले

चूंकि उपयोगकर्ता डेटा को कंप्यूटर के एक सेट में वितरित किया जाता है, इसलिए यह ट्रैक करना महत्वपूर्ण है कि यह कहाँ स्थित है। स्विफ्ट में, यह "रिंग" नामक आंतरिक डेटा संरचनाओं का उपयोग करके हासिल किया जाता है। रिंग्स सभी स्विफ्ट क्लस्टर नोड्स (रिपॉजिटरी और प्रॉक्सी दोनों) पर स्थित हैं। इस तरह, स्विफ्ट कई वितरित फ़ाइल सिस्टम की समस्या को हल करती है जो एक केंद्रीयकृत मेटाडेटा सर्वर पर निर्भर करती है जब यह मेटाडेटा रिपॉजिटरी संदर्भ मेटाडेटा तक पहुंचने के लिए एक अड़चन बन जाती है। किसी एकल ऑब्जेक्ट को संग्रहीत करने या हटाने के लिए रिंग स्टोरेज की आवश्यकता नहीं होती है, क्योंकि रिंग केंद्रीय डेटा कार्ड से बेहतर क्लस्टर में भागीदारी को दर्शाते हैं। इसका I / O संचालन पर सकारात्मक प्रभाव पड़ता है, जो पहुंच विलंबता को काफी कम कर देता है।

खाते के डेटाबेस, कंटेनर और अलग-अलग वस्तुओं के लिए अलग-अलग रिंग हैं, लेकिन सभी रिंग एक ही तरह से काम करते हैं। संक्षेप में - किसी दिए गए खाते, कंटेनर या ऑब्जेक्ट नाम के लिए, रिंग स्टोरेज नोड पर इसके भौतिक स्थान के बारे में जानकारी देता है। तकनीकी रूप से, यह क्रिया अनुक्रमिक हैशिंग विधि का उपयोग करके की जाती है। अंगूठी के एल्गोरिथ्म का एक विस्तृत विवरण हमारे ब्लॉग और इस लिंक में पाया जा सकता है।

प्रॉक्सी सर्वर

प्रॉक्सी सर्वर सार्वजनिक एपीआई तक पहुंच प्रदान करता है और भंडारण संस्थाओं के लिए अनुरोध करता है। प्रत्येक अनुरोध के लिए, प्रॉक्सी सर्वर रिंग का उपयोग करके खाते, कंटेनर और ऑब्जेक्ट के स्थान के बारे में जानकारी प्राप्त करता है। स्थान प्राप्त करने के बाद, सर्वर अनुरोध को रूट करता है। ऑब्जेक्ट्स को प्रॉक्सी सर्वर से क्लाइंट को बिना बफरिंग सपोर्ट के सीधे ट्रांसफर कर दिया जाता है (इसे और अधिक सटीक रूप से रखने के लिए: हालांकि नाम में "प्रॉक्सी" शामिल है, "प्रॉक्सी" सर्वर "प्रॉक्सी" जैसे कि http में प्रदर्शन नहीं करता है)।

ऑब्जेक्ट प्रोसेसिंग सर्वर

यह एक साधारण BLOB (बूँद भंडारण) भंडार है जहाँ आप वस्तुओं को स्टोर, पुनः प्राप्त और हटा सकते हैं। वस्तुओं को स्टोरेज नोड्स में बाइनरी फ़ाइलों के रूप में संग्रहीत किया जाता है, और मेटाडेटा विस्तारित फ़ाइल विशेषताओं (xattrs) में स्थित है। इसलिए, ऑब्जेक्ट सर्वर फ़ाइल सिस्टम को फ़ाइलों के लिए xattrs का समर्थन करना चाहिए।

प्रत्येक ऑब्जेक्ट को फ़ाइल के चेकसम से प्राप्त पथ और ऑपरेशन के टाइमस्टैम्प का उपयोग करके संग्रहीत किया जाता है। अंतिम रिकॉर्ड हमेशा उल्लिखित होता है (वितरित परिदृश्यों सहित, जो वैश्विक घड़ी तुल्यकालन का कारण बनता है) और वस्तु के नवीनतम संस्करण के रखरखाव की गारंटी देता है। हटाए जाने को फ़ाइल का एक संस्करण भी माना जाता है (".ts" में समाप्त होने वाली 0 बाइट्स की एक फ़ाइल, जिसका अर्थ है समाधि का पत्थर (समाधि का पत्थर))। यह सुनिश्चित करता है कि हटाई गई फ़ाइलों को सही तरीके से दोहराया गया है। इस स्थिति में, फ़ाइलों के पुराने संस्करण विफलता पर पुन: प्रकट नहीं होते हैं।

कंटेनर हैंडलिंग सर्वर

कंटेनर प्रोसेसिंग सर्वर वस्तुओं की सूचियों को संसाधित करता है। वह नहीं जानता कि वस्तुएं कहां स्थित हैं, केवल एक विशिष्ट कंटेनर की सामग्री। सूचियाँ sqlite3 डेटाबेस फ़ाइलों के रूप में संग्रहीत की जाती हैं और ऑब्जेक्ट के समान क्लस्टर के पार दोहराई जाती हैं। आँकड़ों को भी ट्रैक किया जाता है, जिसमें कुल वस्तुओं की संख्या और इस कंटेनर के लिए उपयोग की जाने वाली भंडारण की मात्रा शामिल है।

एक विशेष प्रक्रिया - स्विफ्ट-कंटेनर-अपडेटर - जिस कंटेनर पर चल रही है, उस पर लगातार कंटेनर डेटाबेस की जांच करता है, और जब कंटेनर डेटा बदलता है तो खाता डेटाबेस को अपडेट करता है। जिस खाते को अपडेट करने की आवश्यकता है, उसे खोजने के लिए, यह एक रिंग का उपयोग करता है।

खाता प्रसंस्करण सर्वर

कंटेनर प्रसंस्करण सर्वर के समान काम करता है, लेकिन कंटेनर सूचियों को संसाधित करता है।

सुविधाएँ और कार्य

- प्रतिकृति: उन वस्तुओं की प्रतियों की संख्या जिन्हें मैन्युअल रूप से कॉन्फ़िगर किया जा सकता है।

- किसी वस्तु को डाउनलोड करना एक समकालिक प्रक्रिया है: प्रॉक्सी सर्वर “201 क्रिएटेड” HTTP कोड तभी देता है, जब प्रतिकृतियों का आधे से अधिक रिकॉर्ड किया जाता है।

- ओपनस्टैक प्रमाणीकरण सेवा (कीस्टोन) के साथ एकीकरण: प्रतिभागियों को खाते सौंपे जाते हैं।

- डेटा का सत्यापन: फ़ाइल सिस्टम में md5 ऑब्जेक्ट का योग xattrs में संग्रहीत मेटाडेटा की तुलना में।

- कंटेनर तुल्यकालन: कई डेटा केंद्रों पर कंटेनरों को सिंक्रनाइज़ करना संभव हो जाता है।

- स्थानांतरण तंत्र: विफलता के मामले में प्रतिकृति को संग्रहीत करने के लिए एक अतिरिक्त नोड का उपयोग करना संभव है।

- यदि ऑब्जेक्ट का आकार 5 जीबी से अधिक है, तो इसे टूट जाना चाहिए: इन भागों को अलग-अलग वस्तुओं के रूप में संग्रहीत किया जाता है। उन्हें उसी समय पढ़ा जा सकता है।

Ceph

Ceph वितरित POSIX मेटाडेटा और शब्दार्थ प्रबंधन के साथ एक वितरित नेटवर्क संलग्न भंडारण है। सीफ़एच ऑब्जेक्ट रिपॉजिटरी तक पहुंच विभिन्न ग्राहकों के माध्यम से प्राप्त की जा सकती है, जिसमें समर्पित cmdline टूल, FUSE और अमेज़न S3 क्लाइंट शामिल हैं (" S3 गेटवे " नामक संगतता स्तर का उपयोग करके)। सीएफएच में उच्च मात्रा में मॉड्यूलरिटी है - विभिन्न घटकों द्वारा विभिन्न फीचर सेट प्रदान किए जाते हैं जिन्हें संयुक्त और इकट्ठा किया जा सकता है। विशेष रूप से, s3 API के माध्यम से एक्सेस किए गए ऑब्जेक्ट स्टोर के लिए, यह तीन घटकों को लॉन्च करने के लिए पर्याप्त है: ऑब्जेक्ट प्रोसेसिंग सर्वर, एक मॉनिटरिंग सर्वर और एक RADOS गेटवे।

मॉनिटरिंग सर्वर

सेफ-मोन एक हल्का वर्कफ़्लो है जो सीफ़ क्लस्टर में वितरित निर्णय लेने के लिए स्थिरता प्रदान करता है। यह नए ग्राहकों के लिए संपर्क का शुरुआती बिंदु भी है, जो क्लस्टर टोपोलॉजी के बारे में जानकारी प्रदान करता है। आमतौर पर, तीन अलग-अलग भौतिक मशीनों पर तीन सेफ़-मोन वर्कफ़्लोज़ होते हैं, जो एक दूसरे से अलग होते हैं; उदाहरण के लिए, अलग-अलग अलमारियों पर या अलग-अलग पंक्तियों में।

ऑब्जेक्ट प्रोसेसिंग सर्वर

सेफ द्वारा होस्ट किया गया वास्तविक डेटा RADOS नामक क्लस्टर स्टोरेज इंजन के शीर्ष पर संग्रहीत किया जाता है, जिसे स्टोरेज नोड्स के एक सेट पर तैनात किया जाता है।

ceph-osd एक स्टोरेज वर्कफ़्लो है जो क्लस्टर में प्रत्येक स्टोरेज नोड (ऑब्जेक्ट प्रोसेसिंग सर्वर) पर चलता है। क्लस्टर में भाग लेने के लिए ceph.ceph-osd कॉन्टेक्ट ceph-mon। इसका मुख्य उद्देश्य ग्राहकों से अनुरोधों और अन्य अनुरोधों को पढ़ना / लिखना है। यह डेटा को दोहराने के लिए अन्य ceph-osd प्रक्रियाओं के साथ भी बातचीत करता है। इस स्तर पर डेटा मॉडल अपेक्षाकृत सरल है। कई नामित पूल हैं, और प्रत्येक पूल के भीतर एक फ्लैट नेमस्पेस (निर्देशिकाओं के बिना) में ऑब्जेक्ट नामित हैं। प्रत्येक ऑब्जेक्ट में डेटा और मेटाडेटा है। ऑब्जेक्ट डेटा बाइट्स की एक संभावित बड़ी श्रृंखला है। मेटाडेटा कुंजी-मूल्य जोड़े का एक अनियोजित संग्रह है। सीएफएच फ़ाइल सिस्टम फ़ाइल के मालिक के बारे में जानकारी संग्रहीत करने के लिए मेटाडेटा का उपयोग करता है, आदि। इसके तहत, ceph-osd वर्कफ़्लो स्थानीय फ़ाइल सिस्टम पर डेटा संग्रहीत करता है। हम Btrfs की सलाह देते हैं, लेकिन विस्तारित विशेषताओं के साथ कोई भी POSIX फाइल सिस्टम करेगा।

CRUSH एल्गोरिथम

जबकि स्विफ्ट क्रमिक वितरण और डेटा पुनर्प्राप्ति के लिए रिंग्स का उपयोग करता है (md5 चेकसम रेंज को स्टोरेज नोड्स के एक मैपिंग के लिए), सेफ इसके लिए CRUSH नामक एल्गोरिथ्म का उपयोग करता है। संक्षेप में, CRUSH एक एल्गोरिथ्म है, जो ऑब्जेक्ट, क्लस्टर मैप और CRUSH नियमों के नाम के आधार पर सिफ में डेटा के भौतिक स्थान की गणना कर सकता है। CRUSH एक पदानुक्रम में एक स्टोरेज क्लस्टर का वर्णन करता है जो उसके भौतिक संगठन को दर्शाता है, इस प्रकार यह सुनिश्चित करता है कि डेटा भौतिक उपकरणों पर सही ढंग से दोहराया गया है। इसके अलावा, CRUSH आपको एक नीति का उपयोग करके डेटा के प्लेसमेंट को नियंत्रित करने की अनुमति देता है, जो CRUSH को क्लस्टर में भागीदारी में परिवर्तन का जवाब देने की अनुमति देता है।

रेडोस गेटवे

radosgw एक FastCGI सेवा है जो एक सिफ क्लस्टर पर वस्तुओं और मेटाडेटा को संग्रहीत करने के लिए एक RESTful HTTP API प्रदान करती है।

सुविधाएँ और कार्य

- आंशिक या पूर्ण पढ़ने और लिखने के संचालन

- चित्र

- एक सीमा को जोड़ने, छंटनी और क्लोनिंग जैसे कार्यों के लिए परमाणु लेनदेन

- वस्तु स्तर पर की-वैल्यू सहसंबंध

- वस्तुओं की प्रतिकृतियों का प्रबंधन

- एक समूह और मानचित्रण समूह OSD श्रृंखला में वस्तुओं (वस्तुओं की श्रृंखला) का एकत्रीकरण

- साझा गुप्त कुंजियों का उपयोग करके प्रमाणीकरण: ग्राहक और निगरानी समूह दोनों के पास ग्राहक की गुप्त कुंजी की एक प्रति है
- एपीआई एस 3 / स्विफ्ट के साथ संगतता

क्रियात्मक अवलोकन

	तीव्र	Ceph
प्रतिकृति	हां	हां
अधिकतम वस्तु का आकार	5 जीबी (बड़ी वस्तुओं को खंडित किया जाता है)	असीमित
मल्टी डीसी स्थापना (डेटा केंद्रों के बीच वितरण)	हां (केवल कंटेनर स्तर पर प्रतिकृति, लेकिन डेटा केंद्रों के बीच पूर्ण प्रतिकृति के लिए एक योजना प्रस्तावित है)	नहीं (डेटा अखंडता के अतुल्यकालिक बाद के प्रतिकृति की आवश्यकता होती है, जो सिफ अभी तक समर्थन नहीं करता है)
ओपनस्टैक के साथ एकीकरण	हां	आंशिक (कीस्टोन सपोर्ट की कमी)
प्रतिकृति प्रबंधन	नहीं	हां
रिकॉर्डिंग एल्गोरिथ्म	एक समय का	एक समय का
अमेज़न S3 संगत एपीआई	हां	हां
डेटा प्लेसमेंट विधि	रिंग्स (स्थिर मानचित्रण संरचना)	CRUSH (एल्गोरिथ्म)

सूत्रों का कहना है

आधिकारिक स्विफ्ट प्रलेखन - डेटा संरचना के विवरण के लिए स्रोत।
Github पर स्विफ्ट रिंग स्रोत कोड - स्विफ्ट रिंग और रिंगब्यूलर कक्षाओं का स्रोत कोड आधार।
चोमल बुदजनाह का ब्लॉग - उपयोगी स्विफ्ट टिप्स।
आधिकारिक सिफ प्रलेखन - डेटा संरचना विवरण का मुख्य स्रोत।

मूल लेख अंग्रेजी में