सेफ: क्लाउड स्टोरेज बिना किसी समझौता के

नमस्कार प्रिय पाठकों!

होस्टिंग उद्देश्यों के लिए उपयोग किए जाने वाले आधुनिक बादल भंडारण अवसंरचना आवश्यकताओं के लिए बार बढ़ाते हैं। किसी ग्राहक को गुणवत्ता सेवा प्राप्त करने के लिए, डेटा संग्रहण प्रणाली में कई गुण निहित होने चाहिए:

• भंडारण की उच्च विश्वसनीयता
• उच्च डेटा उपलब्धता, यानी दुर्घटनाओं के दौरान न्यूनतम डाउनटाइम
• उच्च गति और न्यूनतम विलंबता
• भंडारण की कम इकाई लागत
• विभिन्न अनुप्रयोग विशेषताएं: क्लोनिंग, स्नैपशॉट, आदि।

न तो RAID-सरणियाँ, न ही "लोहा" भंडारण प्रणाली एक ही समय में इन सभी कार्यों को हल करने में सक्षम हैं। यही कारण है कि सॉफ्टवेयर-परिभाषित भंडारण होस्टिंग उद्योग में अधिक व्यापक होता जा रहा है। एसडीएस के प्रमुख प्रतिनिधियों में से एक एक वितरित भंडारण है जिसे सेफ कहा जाता है।

हमने इस अद्भुत उत्पाद के बारे में बात करने का फैसला किया, जो CERN , 2GIS , Mail.ru और हमारी क्लाउड होस्टिंग में उपयोग किया जाता है।

सिफ क्या है?

सीएचपी एक असफल-सुरक्षित वितरित डेटा वेयरहाउस है जो टीसीपी प्रोटोकॉल पर काम कर रहा है। सेफ की मूल विशेषताओं में से एक पेटाबाइट आकारों के लिए स्केलेबिलिटी है। सीएफएच भंडारण के साथ काम करने के लिए तीन अलग-अलग सार का विकल्प प्रदान करता है: ऑब्जेक्ट स्टोरेज (RADOS गेटवे), ब्लॉक डिवाइस (RADOS ब्लॉक डिवाइस) या POSIX- संगत फ़ाइल सिस्टम (CephFS) का अमूर्त।

ऑब्जेक्ट स्टोर अमूर्त

ऑब्जेक्ट स्टोरेज एब्स्ट्रैक्शन (RADOS गेटवे या RGW), FastCGI सर्वर के साथ मिलकर, सेफ को यूजर ऑब्जेक्ट्स को स्टोर करने के लिए उपयोग करने की अनुमति देता है और एक S3 / स्विफ्ट-संगत एपीआई प्रदान करता है। जल्द ही सिफ और आरजीडब्ल्यू को कैसे कॉन्फ़िगर किया जाए, इस बारे में हैबर पर पहले से ही एक लेख था। ऑब्जेक्ट स्टोरेज मोड में, सीफ़एच को लंबे समय से कई कंपनियों द्वारा उत्पादन में सफलतापूर्वक उपयोग किया गया है।

ब्लॉक उपकरण अमूर्त

एक ब्लॉक डिवाइस (मूल, RADOS ब्लॉक डिवाइस या RBD में) का अमूर्त उपयोग उपयोगकर्ता को किसी भी आकार के वर्चुअल ब्लॉक डिवाइस बनाने और उपयोग करने की क्षमता प्रदान करता है। RBD सॉफ्टवेयर इंटरफ़ेस आपको इन उपकरणों के साथ रीड / राइट मोड में काम करने और सर्विस ऑपरेशन करने की अनुमति देता है - आकार बदलना, क्लोनिंग, बनाना और स्नैपशॉट पर वापस जाना, आदि।

क्यूईएमयू हाइपरवाइजर में सेफ के साथ काम करने के लिए एक ड्राइवर होता है और आरबीडी ब्लॉक उपकरणों के लिए वर्चुअल मशीन एक्सेस प्रदान करता है। इसलिए, सेफ को अब सभी लोकप्रिय क्लाउड ऑर्केस्ट्रेशन समाधानों में समर्थन दिया गया है - ओपनस्टैक, क्लाउडस्टैक, प्रॉक्समोक्स। आरबीडी भी औद्योगिक उपयोग के लिए तैयार है।

एक POSIX- अनुरूप फ़ाइल सिस्टम का अमूर्त

CephFS एक POSIX- कम्प्लायंट फाइल सिस्टम है जो Ceph को स्टोरेज के रूप में उपयोग करता है। इस तथ्य के बावजूद कि सीएफएचएफएस उत्पादन-तैयार नहीं है और अभी तक महत्वपूर्ण औद्योगिक आवेदन नहीं है, यहां हैबे पर इसे कॉन्फ़िगर करने के तरीके पर पहले से ही एक निर्देश है ।

शब्दावली

मुख्य सिफ इकाइयां नीचे सूचीबद्ध हैं।

मेटाडेटा सर्वर (एमडीएस) सीएफएचएफएस माउंट बिंदुओं पर फ़ाइलों की समकालिक स्थिति सुनिश्चित करने के लिए एक सहायक डेमॉन है। सक्रिय कॉपी + भंडार योजना योजना के अनुसार काम करती है, और क्लस्टर के भीतर केवल एक सक्रिय प्रतिलिपि है।

सोम (मॉनिटर) एक सिफ इंफ्रास्ट्रक्चर तत्व है जो क्लस्टर के भीतर डेटा एड्रेसिंग प्रदान करता है और स्टोरेज के अंदर डेटा की टोपोलॉजी, स्थिति और वितरण के बारे में जानकारी संग्रहीत करता है। एक क्लाइंट जो आरबीडी ब्लॉक डिवाइस या फाइल को माउंटेड सेफ़ पर एक्सेस करना चाहता है, उसे मॉनिटर से आरबीडी हेडर का नाम और स्थिति प्राप्त होती है, एक विशेष ऑब्जेक्ट जो अनुरोधित एब्स्ट्रक्शन (ब्लॉक डिवाइस या फ़ाइल) से संबंधित अन्य ऑब्जेक्ट्स की स्थिति का वर्णन करता है और फिर सभी ओएसडी के साथ संचार करता है। फ़ाइल भंडारण में।

ऑब्जेक्ट (ऑब्जेक्ट) - एक निश्चित आकार के डेटा का एक ब्लॉक (डिफ़ॉल्ट 4 एमबी)। सेफ में संग्रहीत सभी जानकारी को ऐसे ब्लॉक द्वारा निर्धारित किया जाता है। भ्रम से बचने के लिए, हम इस बात पर जोर देते हैं कि ये ऑब्जेक्ट स्टोरेज से उपयोगकर्ता ऑब्जेक्ट नहीं हैं, लेकिन सेफ में डेटा के आंतरिक प्रतिनिधित्व के लिए उपयोग की जाने वाली ऑब्जेक्ट हैं।

ओएसडी (ऑब्जेक्ट स्टोरेज डेमॉन) - डेटा भंडारण के लिए जिम्मेदार इकाई, सीएफएच क्लस्टर का मुख्य भवन तत्व है। एक ओएसडी कई ओएसडी की मेजबानी कर सकता है, जिनमें से प्रत्येक का एक अलग भौतिक डेटा स्टोर है।

ओएसडी मैप (ओएसडी मैप) - एक नक्शा जो प्रत्येक प्लेसमेंट समूह को एक प्राथमिक ओएसडी और एक या एक से अधिक प्रतिकृति ओएसडी के सेट के साथ जोड़ता है। ओएसडी स्टोरेज के नोड्स द्वारा प्लेसमेंट समूहों (पीजी) के वितरण को ओएसडीएमएपी मैप के एक स्लाइस द्वारा वर्णित किया गया है, जो सभी पीजी और उनके प्रतिकृतियों के पदों को दर्शाता है। क्लस्टर में पीजी के स्थान में प्रत्येक परिवर्तन एक नया ओएसडी कार्ड जारी करने के साथ है, जो सभी प्रतिभागियों को वितरित किया जाता है।

प्लेसमेंट समूह (PG) - एक तार्किक समूह जो कई वस्तुओं को जोड़ता है, जो वस्तुओं के पते और सिंक्रनाइज़ेशन को सरल बनाने के लिए डिज़ाइन किया गया है। प्रत्येक ऑब्जेक्ट में केवल एक प्लेसमेंट समूह होता है। प्लेसमेंट समूह में भाग लेने वाली वस्तुओं की संख्या विनियमित नहीं है और भिन्न हो सकती है।

प्राथमिक OSD - इस प्लेसमेंट समूह के लिए OSD को प्राथमिक के रूप में चुना गया। क्लाइंट IO को हमेशा OSD द्वारा सेवा दी जाती है, जो प्लेसमेंट समूह के लिए प्राथमिक है, जिसमें ग्राहक के लिए ब्याज की डेटा ब्लॉक (ऑब्जेक्ट) स्थित है। प्राथमिक ओएसडी एसिंक्रोनस रूप से प्रतिकृति ओएसडी के सभी डेटा को दोहराता है।

RADOS गेटवे (RGW) एक सहायक डेमन है जो समर्थित ऑब्जेक्ट स्टोरेज एपीआई के लिए एक प्रॉक्सी के रूप में कार्य करता है। यह एक ही पूल के भीतर भौगोलिक रूप से बिखरे हुए प्रतिष्ठानों (विभिन्न पूलों के लिए, या स्विफ्ट दृश्य, क्षेत्रों में) और सक्रिय-बैकअप मोड का समर्थन करता है।

प्रतिकृति ओएसडी (माध्यमिक) - ओएसडी, जो इस प्लेसमेंट समूह के लिए प्राथमिक नहीं है और प्रतिकृति के लिए उपयोग किया जाता है। ग्राहक कभी भी उनसे सीधे संवाद नहीं करता है।

प्रतिकृति कारक (आरएफ) - डेटा भंडारण अतिरेक। प्रतिकृति कारक एक पूर्णांक है और इंगित करता है कि एक ही ऑब्जेक्ट की कितनी प्रतियां क्लस्टर स्टोर करती हैं।

सेफ आर्किटेक्चर

सेफ में दो मुख्य प्रकार के डेमॉन हैं - मॉनिटर (मोन) और स्टोरेज नोड्स (ओएसडी)। आरजीडब्ल्यू और एमडीएस डेमॉन सहायक सेवाओं के रूप में, डेटा के वितरण में भाग नहीं लेते हैं। PAXOS जैसे प्रोटोकॉल का उपयोग करके मॉनिटर्स को अलग कर दिया जाता है और संचार किया जाता है। दरअसल, क्लस्टर तब तक चालू होता है जब तक वह कॉन्फ़िगर किए गए कोरम में प्रतिभागियों के बहुमत को बरकरार रखता है, अर्थात, बीच में विभाजित मस्तिष्क की स्थिति और प्रतिभागियों की एक समान संख्या में, केवल एक भाग "जीवित रहेगा", क्योंकि पिछले PAXOS चुनावों ने सक्रिय प्रतिभागियों की संख्या को विषम संख्या में कम कर दिया है। । यदि कोरम का अधिकांश हिस्सा खो जाता है, तो क्लस्टर किसी भी ऑपरेशन के लिए "जमे हुए" होता है, जो न्यूनतम कोरम को बहाल किए जाने तक रिकॉर्ड किए गए या पढ़े गए डेटा के संभावित बेमेल को रोकता है।

डेटा रिकवरी और रिबैलेंसिंग

दृश्य से ऑब्जेक्ट की प्रतियों में से एक की हानि वस्तु के संक्रमण की ओर ले जाती है और प्लेसमेंट समूह इसे अपमानित अवस्था में और एक नए ओएसडी कार्ड (ओएसडीएमएपी) को जारी करता है। नए नक्शे में ऑब्जेक्ट की खोई हुई कॉपी का नया स्थान होता है, और यदि निर्दिष्ट समय के बाद खोई हुई कॉपी वापस नहीं आती है, तो प्रतिकृति कारक द्वारा निर्धारित प्रतियों की संख्या को बचाने के लिए लापता कॉपी को दूसरी जगह पर बहाल किया जाएगा। इस तरह की त्रुटि के समय किया गया संचालन स्वचालित रूप से उपलब्ध प्रतियों में से एक में बदल जाएगा। सबसे खराब स्थिति में, उनकी देरी को सेकंड की इकाइयों में मापा जाएगा।

सेफ की एक महत्वपूर्ण संपत्ति यह है कि सभी क्लस्टर रीबैलेंसिंग ऑपरेशन उसी समय पृष्ठभूमि में होते हैं जब उपयोगकर्ता I / O होता है। यदि कोई ग्राहक किसी ऐसी वस्तु तक पहुँच प्राप्त करता है जो ठीक होने की स्थिति में है, तो सेफ उस वस्तु और उसकी प्रतियों को पुनर्स्थापित करेगा, और फिर ग्राहक के अनुरोध पर अमल करेगा। यह दृष्टिकोण न्यूनतम I / O विलंबता प्रदान करता है, भले ही क्लस्टर रिकवरी पूरे जोरों पर हो।

क्लस्टर डेटा वितरण

सीएफएच की सबसे महत्वपूर्ण विशेषताओं में से एक सीआरयूएसएच नियमों द्वारा परिभाषित प्रतिकृति को ठीक करने की क्षमता है - ओएसडी समूह में पीजी के यादृच्छिक वितरण के आधार पर नियमों (वजन, नोड की स्थिति, नोड के एक ही समूह में प्लेसमेंट का निषेध) को ध्यान में रखते हुए एक शक्तिशाली और लचीला तंत्र। डिफ़ॉल्ट रूप से, ओएसडी का वजन उस समय के बराबर माउंट बिंदु पर मुक्त स्थान की मात्रा के आधार पर होता है, जब ओएसडी क्लस्टर में दर्ज होता है और एक डेटा वितरण नियम का पालन करता है जो एक ही नोड पर एक ही पीजी की दो प्रतियां रखने पर रोक लगाता है। CRUSHMAP - डेटा के वितरण का विवरण - एक रैक के भीतर दूसरी प्रति रखने पर रोक लगाने वाले नियमों का अनुपालन करने के लिए संशोधित किया जा सकता है, जिससे पूरे रैक के प्रस्थान स्तर पर गलती सहनशीलता सुनिश्चित होती है।

सैद्धांतिक रूप से, यह दृष्टिकोण वास्तविक समय के भू-प्रतिकृति को लागू करने की अनुमति देता है, लेकिन व्यवहार में इसका उपयोग केवल ऑब्जेक्ट स्टोरेज मोड में किया जा सकता है, क्योंकि सीएफएफएस और आरबीडी मोड में ऑपरेशन देरी बहुत बड़ी होगी।

सेफ के विकल्प और लाभ

सबसे उच्च गुणवत्ता और जन्मजात मुक्त क्लस्टर एफएस GlusterFS हैं। यह RedHat द्वारा समर्थित है और इसके कुछ फायदे हैं (उदाहरण के लिए, यह क्लाइंट के पास डेटा की प्राथमिक प्रतिलिपि को स्थानीय करता है)। हालाँकि, हमारे परीक्षणों ने पुनर्निर्माण के दौरान प्रदर्शन और खराब जवाबदेही के संदर्भ में ग्लस्टरफ़ोर्स में कुछ कमी दिखाई। अन्य गंभीर नुकसान सीओडब्ल्यू (अनुमानित भविष्य में) और कम सामुदायिक गतिविधि की कमी है।

अन्य क्लस्टर स्टोरेज सिस्टमों पर सेफ का लाभ रिकवरी ऑपरेशन के दौरान विफलता के सामान्य बिंदुओं और रखरखाव के व्यावहारिक रूप से शून्य लागत की कमी है। अतिरेक और डिजाइन के स्तर पर होने वाली दुर्घटनाओं का प्रतिरोध और मुक्त हो जाता है।

संभावित प्रतिस्थापनों को दो प्रकारों में विभाजित किया जाता है - सुपर कंप्यूटरों के लिए क्लस्टर एफएस (GPFS / Luster / etc) और iSCSI या NFS जैसे सस्ते केंद्रीकृत समाधान। पहले प्रकार को बनाए रखना काफी मुश्किल है और असफल उपकरणों की स्थितियों में ऑपरेशन के लिए तेज नहीं किया जाता है - I / O फ्रीजिंग, जो विशेष रूप से संवेदनशील है जब एक कम्प्यूटेशनल नोड को माउंट बिंदु निर्यात करते हैं, एक सार्वजनिक खंड में इस तरह के एफएस के उपयोग की अनुमति नहीं देता है। "क्लासिक" समाधान के नुकसान को अच्छी तरह से समझा जाता है - मापनीयता की कमी और लोहे के स्तर पर विफलता के लिए टोपोलॉजी बिछाने की आवश्यकता होती है, जिससे लागत में वृद्धि होती है।

सिफ के साथ, क्लस्टर वसूली और पुनर्निर्माण वास्तव में निर्बाध है, क्लाइंट I / O पर बहुत कम या कोई प्रभाव नहीं है। अर्थात्, सिफ के लिए एक अपमानित क्लस्टर एक असाधारण स्थिति नहीं है, लेकिन परिचालन राज्यों में से सिर्फ एक है। जहां तक ​​हम जानते हैं, किसी भी अन्य ओपन सॉफ्टवेयर स्टोरेज सिस्टम के पास सार्वजनिक क्लाउड में इसके उपयोग के लिए पर्याप्त संपत्ति नहीं है, जहां सेवा की योजनाबद्ध समाप्ति असंभव है।

उत्पादकता

जैसा कि लेख की शुरुआत में संकेत दिया गया है, सेफ में डेटा ओएसडी पर काफी छोटे हिस्से और छद्म यादृच्छिक रूप से वितरित किया जाता है। यह इस तथ्य की ओर जाता है कि प्रत्येक सीफ़ क्लाइंट का वास्तविक I / O सभी क्लस्टर डिस्क के पार समान रूप से "स्मीयर" है। इसके परिणामस्वरूप:

1. डिस्क संसाधन के लिए क्लाइंट के बीच संघर्ष की तीव्रता कम हो जाती है
2. ब्लॉक डिवाइस के साथ काम की सैद्धांतिक रूप से संभव तीव्रता की ऊपरी पट्टी बढ़ रही है
3. पैराग्राफ 1 और 2 के परिणामस्वरूप, प्रत्येक ग्राहक को iops और बैंडविड्थ के लिए काफी बड़ी विशिष्ट सीमाएं मिलती हैं, जो एक ही पैसे के लिए शास्त्रीय दृष्टिकोण दे सकता है

सेफ के प्रदर्शन के अन्य कारण हैं। सभी लिखने के संचालन पहले ओएसडी लॉग पर जाते हैं, और फिर, क्लाइंट को देरी किए बिना, उन्हें एसिंक्रोनस रूप से लगातार फ़ाइल भंडारण में स्थानांतरित किया जाता है। इसलिए, एक एसएसडी पर एक लॉग रखकर, जिसे सिफ दस्तावेज में अनुशंसित किया जाता है, कई बार लिखने के संचालन को गति देता है।

लक्ष्य और परिणाम

दो साल पहले, सेफ ने हमें अपनी प्रभावशाली विशेषताओं के साथ रिश्वत दी थी। हालांकि उनमें से कई उस समय पूरी तरह से काम नहीं करते थे, हमने इस पर बादल बनाने का फैसला किया। अगले महीनों में, हमें कई समस्याओं का सामना करना पड़ा जिसने हमें कई अप्रिय मिनट दिए।



उदाहरण के लिए, एक साल पहले सार्वजनिक रिलीज के ठीक बाद, हमने पाया कि एक क्लस्टर के पुनर्निर्माण से उसकी जवाबदेही प्रभावित होती है, जितना हम चाहते हैं। या कि एक निश्चित प्रकार के ऑपरेशन के बाद के संचालन की विलंबता में उल्लेखनीय वृद्धि होती है। या कि कुछ (सौभाग्य से, दुर्लभ) स्थितियों में, क्लाइंट वर्चुअल मशीन I / O पर कसकर लटका सकता है। एक तरह से या किसी अन्य, छह महीने तक चलने वाले बगफिक्स ने अपना काम किया है, और आज हम अपने भंडारण में पूरी तरह से आश्वस्त हैं। खैर, कठिनाइयों को दूर करने की प्रक्रिया में, हमने कई डीबगिंग और निगरानी उपकरणों का अधिग्रहण किया। उनमें से एक बिना किसी अपवाद के ब्लॉक उपकरणों के साथ सभी कार्यों की अवधि की निगरानी कर रहा है (फिलहाल, क्लस्टर हर सेकंड कई हजार पढ़ने / लिखने का कार्य करता है)। आज हमारे व्यवस्थापक पैनल में लटेंसि पर रिपोर्ट कैसी है:


चार्ट पर हरा संचालन की न्यूनतम अवधि को इंगित करता है, लाल - अधिकतम, फ़िरोज़ा - मंझला। प्रभावशाली, है ना?

हालांकि भंडारण प्रणाली लंबे समय से बिल्कुल स्थिर है, ये उपकरण अभी भी रोजमर्रा की समस्याओं को हल करने में हमारी मदद करते हैं और साथ ही साथ संख्याओं के साथ हमारी सेवा की उत्कृष्ट गुणवत्ता की पुष्टि करते हैं।

अंततः, सेफ ने हमें प्रदान करने की अनुमति दी:

• कम IO अच्छा स्थानीय SSD के लिए विलंबता
• उपयोगकर्ताओं के लिए एक मोड में 1Tb से 4Tb मॉडल तक सभी भंडारण डिस्क का उन्नयन
• एक नोड की हार्डवेयर विफलता एक घटना के रूप में उपयोगकर्ताओं के लिए अदृश्य है
• लाइव माइग्रेशन और सेफ के उपयोग के लिए धन्यवाद, हार्डवेयर और सॉफ्टवेयर अपडेट शून्य डाउनटाइम के साथ होते हैं
• स्नैपशॉट्स, क्लोनिंग, इंक्रीमेंटल डिफरेंसेस ने प्रोडक्शन और हैप्पी ग्राहकों में अपना आवेदन पाया है
• सेवाओं के लिए अल्ट्रा कम कीमत

Flops.ru रूस में केवल एक ही है और दुनिया में कुछ होस्टिंग प्रदाताओं में से एक है जो उत्पादन में सेफ का उपयोग करता है। सेफ के लिए धन्यवाद, हम महसूस कर पाए कि बादलों के भविष्य के बारे में दूरदर्शी पोस्टों में अक्सर क्या लिखा जाता है - साधारण हार्डवेयर पर कंप्यूटिंग नोड्स और स्टोरेज नोड्स को संयोजित करने और लागत में वृद्धि के बिना उद्यम "अलमारियों" के मूल्यों के करीब संकेतक प्राप्त करने के लिए। खैर, चूंकि बचाया गया धन अर्जित धन की तरह है, इसलिए हमें पश्चिमी छूटकर्ताओं के स्तर के लिए सेवाओं के लिए कीमतें कम करने का अवसर मिला। हमारी दरों को देखकर यह देखना आसान है।

यदि आप अपने काम में समर्पित होस्टिंग का उपयोग करते हैं, तो हम आपको सुझाव देते हैं कि आप हमारी सेवाओं को कार्रवाई में आज़माएं और यह मूल्यांकन करें कि सिफ क्या लाभ प्रदान करता है। आपको कुछ भी भुगतान करने की आवश्यकता नहीं है - आप पंजीकरण के तुरंत बाद दो सप्ताह की परीक्षण अवधि और 500 रूबल के परीक्षण संतुलन को सक्रिय कर सकते हैं।

निम्नलिखित पोस्टों में, हम सेफ का उपयोग करने के व्यावहारिक पक्ष पर विचार करेंगे, उन विशेषताओं के बारे में बात करेंगे जो पिछले साल में हमारे देश में दिखाई दी हैं (और उनमें से बहुत सारे हैं), और एसएसडी का उपयोग करके प्रदान किए गए लाभों पर ध्यान केंद्रित करते हैं।

आपका ध्यान के लिए धन्यवाद!