न्यू क्लाउड स्टोरेज

अभी कुछ दिनों पहले, हमने नवीनतम भंडारण प्रणाली चालू की, जिसे हम पिछले छह महीनों से काम कर रहे हैं। इससे पहले कि मैं आपको बताऊं कि इसमें नया क्या है, मैं आपको इसके विकास के इतिहास के बारे में बताऊंगा।

यह तुरंत ध्यान दिया जाना चाहिए कि भंडारण प्रणाली क्लाउड होस्टिंग के उपकरण में आधारशिला है। दो अनिवार्य भंडारण आवश्यकताएं हैं। सबसे पहले, इसे नेटवर्क किया जाना चाहिए ताकि उपयोगकर्ता वर्चुअल मशीनें कंप्यूटिंग नोड्स के बीच स्वतंत्र रूप से आगे बढ़ सकें। दूसरे, यह समानांतर संचालन के लिए उत्पादक होना चाहिए, क्योंकि यह एक साथ बड़ी संख्या में ग्राहकों द्वारा उपयोग किया जाता है।

जिस समय हमने सिस्टम डिजाइन किया था, और यह 2007 था, बाजार पर नेटवर्क भंडारण के आयोजन के लिए 3 मुख्य प्रौद्योगिकियां थीं: ईथरनेट पर 1SCSI 1/10 Gbit / s, FibreChannel 4 Gbit / s और Infiniband 40bit / s। मूल्य विशेषताओं पर शोध करने के बाद, हमने Infiniband के साथ अंतिम विकल्प चुना। इसने हमें स्टोरेज सिस्टम और IP डेटा के हस्तांतरण के लिए एक नेटवर्क फैक्टरी का उपयोग करने की अनुमति दी। पहली नज़र में, यह अजीब लगता है, क्योंकि बहुत से सुपर कंप्यूटर की दुनिया से एक बहुत महंगी विदेशी तकनीक के रूप में Infiniband के बारे में सोच रहे हैं। लेकिन एक साधारण कीमत की तुलना से पता चलता है कि इस मामले में, Infiniband बहुत किफायती है।

इस प्रकार, हम सबसे अधिक संभवत: दुनिया की मेजबानी के इतिहास में पहली कंपनी बन गए जिसने Infiniband को लागू किया। अब, हमारे अलावा, कुछ अमेरिकी और प्रेमी रूसी होस्टिंग कंपनियां, साथ ही साथ उनकी आंतरिक जरूरतों के लिए कुछ डेटा केंद्र इसके लिए शिकार कर रहे हैं।

स्वयं भंडारण के संबंध में, हमें कोई तैयार तैयार समाधान नहीं मिला, जो कि इनफिनिबैंड के साथ काम करने में सक्षम है; एलएसआई और डीडीएन के पास कुछ था, लेकिन बहुत कच्चे रूप में। एक बार फिर से iSCSI और FC के आधार पर दोष-सहिष्णु समाधानों की लागत की गणना करने के बाद, हमने महसूस किया कि कोई भी उन्हें परिणामी कीमत पर नहीं खरीदेगा।

उस समय, मैक्सिम लपन , जिसे आईबीएम के वाणिज्यिक उत्पाद, GPFS क्लस्टर फ़ाइल सिस्टम के साथ काम करने का अनुभव था, हमारी कंपनी में शामिल हो गया। यह पता चला कि GPFS Infiniband के साथ सीधे काम कर सकता है, अपनी सभी क्षमताओं का अधिकतम उपयोग कर सकता है, और इसमें बैकअप के लिए सभी उपकरण हैं। तो Skalaxi क्लाउड स्टोरेज सिस्टम का पहला संस्करण बनाया गया था। हमने GPFS नोड्स पर raid10 का उपयोग किया और नोड्स के दोहरे अतिरेक को स्वयं उपयोग किया। वर्चुअल मशीनों की डिस्क छवियां GPFS पर साधारण फाइलों के रूप में बिछी रहती हैं।

हालांकि, ऑपरेशन के दौरान यह पता चला कि GPFS हमारी समस्याओं को बेहद खराब तरीके से हल करता है। सबसे पहले, क्लस्टर कॉन्फ़िगरेशन (नए नोड्स इत्यादि को जोड़ने) के दौरान अक्सर क्रैश होता है। हमारे मार्ग पर चलने वाले सहकर्मी अब विभिन्न समस्याओं का सामना कर रहे हैं। दूसरे, कम प्रदर्शन: जीपीएफएस मूल रूप से डेटा के बड़े टुकड़ों के साथ अनुक्रमिक कार्य के लिए डिज़ाइन किया गया था, उदाहरण के लिए, वीडियो फ़ाइलों को स्ट्रीमिंग करने के लिए, और उपयोगकर्ता डिस्क छवियों के साथ काम करने के लिए नहीं, जहां छोटे ब्लॉक तक यादृच्छिक पहुंच सामने आती है।

हमने समस्या के बारे में सोचना शुरू किया, विभिन्न समाधानों की कोशिश की। उसी समय, मैं वास्तव में मालिकाना और अप्रत्याशित प्रौद्योगिकियों से दूर होना चाहता था। VastSky पर ठोकर खाई, VA लिनक्स सिस्टम का विकास। इसका आर्किटेक्चर बहुत कुछ वैसा ही था जैसा हम आगे बढ़ रहे थे - यूज़र इमेज के साथ काम करने के लिए डिवाइस-मैपर ड्राइवर का उपयोग करना। LVM भी इस ड्राइवर के आधार पर काम करता है और अनिवार्य रूप से इसकी प्रबंधन उपयोगिता है। हालांकि, VastSky अभी तक उत्पादन प्रणालियों में उपयोग के लिए तैयार नहीं है।

हालांकि, इस अवधारणा ने हमें आश्वस्त किया कि हम सही रास्ते पर हैं। नतीजतन, भंडारण प्रणाली का एक नया संस्करण विकसित किया गया था। यहाँ उसका चित्र है:



हमारे क्लाउड में तीन प्रकार के सर्वर हैं:

VRT (ViRTualization) - क्लाइंट वर्चुअल मशीन चलाने वाले डिस्क रहित वर्चुअलाइजेशन सर्वर।
IBRP (IB Raid Proxy) - स्टोरेज सिस्टम प्रॉक्सी करता है जिसका काम सर्विस छापे मारना है।
IBRN (IB RAID Node) - भंडारण प्रणाली नोड्स जिसमें डिस्क और कैश होते हैं।

IBRN के साथ फ्रंट रैक फोटो:



रियर:



फोटो इनफिनिबैंड स्विच:



यह सभी इस प्रकार काम करता है:

- IBRNs अपने ड्राइव्स को Infiniband SRP (SRP - SCSI ओवर RDMA प्रोटोकॉल) का उपयोग करते हुए कैश्ड SCST ड्राइवर, सबसे तेज़ खुले SCSI टार्गेट ड्राइवर का उपयोग करके निर्यात करते हैं। एससीएसटी आम तौर पर एक अच्छी बात है, यह हमें उसी मैक्सिम लपन ने सलाह दी थी; उसके रूसी लोग विकसित करें। यह आपको लिनक्स के साथ किसी भी बॉक्स से एंटरप्राइज-लेवल स्टोरेज बनाने की अनुमति देता है।
- IBRP IBRN से डिस्क प्राप्त करता है, प्रत्येक IBRN जोड़ी के लिए वे md का उपयोग करके raid10 इकट्ठा करते हैं, जिसका कोड हमने ध्यान से प्रतिस्पर्धी स्थितियों में काम करने के लिए सत्यापित किया है, इस छापे पर LV समूह बनाएं और इसे बिना किसी कोचिंग के फिर से SCST के माध्यम से निर्यात करें।
- वीआरटी सभी IBRPs से डिस्क प्राप्त करते हैं, मल्टीपाथ चालक उनसे एक राउंड-रॉबिन समूह बनाता है, इस प्रकार सभी IBRPs में लोड वितरित करता है।
- IBRP में से एक पर एक नया डिस्क बनाते समय, lvcreate कमांड को निष्पादित किया जाता है, निर्मित वॉल्यूम के लिए डिवाइस-मैपर तालिका को याद किया जाता है, डिवाइस-मैपर के माध्यम से डिवाइस को पहले ही वीआरटी पर बनाया जाता है और एक्सएन को दिया जाता है।
- I / O क्लाइंट वर्चुअल मशीन से IBRP तक ऑपरेशन लिखते हैं, md पर जाते हैं, md दोनों IBRNs को लिखते हैं और उसके बाद ही जवाब देते हैं कि ऑपरेशन सफल रहा। इस प्रकार, यदि कोई I / O नोड क्रैश हो जाता है, तो क्लाइंट मशीन में ऑपरेशन को सही ढंग से संसाधित किया जाएगा।

पहली नज़र में, ऐसा लगता है कि कई स्तर हैं और वे उत्पादकता कम कर देंगे। लेकिन ऐसा नहीं है, Infiniband बस की गति एसएएस की गति से अधिक है, और पूरी डिजाइन कम से कम स्थानीय डिस्क की तुलना में धीमी गति से काम नहीं करती है, और 96 जीबी कैश का उपयोग करते हुए, यह कई बार उनसे अधिक है।

इसके बाद, हमने इस प्रणाली के दोष सहिष्णुता परीक्षण परिदृश्यों की एक सूची संकलित की और उन्हें कई बार आयोजित किया, नीचे परिणाम हैं:

1. IBRN फांसी या पोषण में गिरावट।

टेस्ट सफलतापूर्वक पास हुए। कुछ समय के लिए, IBRP पर डिस्क टाइमआउट काम करने तक क्लाइंट मशीनों पर I / O जमे हुए हैं। अगला, IBRP पर md, गिरे हुए IBRN के डिस्कनेक्ट करता है और काम करना जारी रखता है। IBRN पुनर्प्राप्ति के बाद, 24 घंटों के भीतर md सिंक्रनाइज़ेशन सफल होता है।

2. SCBR ड्राइवर को उतार कर IBRN को रोकें।

टेस्ट सफलतापूर्वक पास हुए। घटनाओं का पाठ्यक्रम पिछले परीक्षण के समान है, केवल टाइमआउट के बिना।

3. IBRP फांसी या पोषण में गिरावट।

टेस्ट सफलतापूर्वक पास हुए। मध्यांतर तक, एसआरपी सत्र टूट जाता है, और वीआरटी पर बहुपथ पथ को हटा देता है। क्लाइंट मशीनों पर, सभी I / O मल्टीपाथ टाइमआउट के दौरान जमे हुए हैं।

4. SCBR ड्राइवर को उतार कर IBRP रोकें।

टेस्ट सफलतापूर्वक पास हुए। SCST के अनलोड होने के बाद, SRP सत्र सही ढंग से टूट गया है, और VRT पर बहुपथ तुरंत विफल के रूप में पथ को चिह्नित करता है। ग्राहकों के लिए, सब कुछ पारदर्शी और बिना टाइमआउट के दिखता है।

5. IBRN में खराब डिस्क (गर्म करने के लिए डिस्क को खींचें)।

टेस्ट सफलतापूर्वक पास हुए। IBRN में डिस्क गायब हो जाती है, त्रुटियों को डाला जाता है, IBRP पर त्रुटियों को भी डाला जाता है, और md लगातार दर्पण पर रीडायरेक्ट करता है। डिस्क वापस डालने के बाद, 24 घंटों के भीतर md सिंक्रोनाइज़ेशन सफल होता है।

6. Infiniband स्विच को रिबूट करें ।

टेस्ट सफलतापूर्वक पास हुए। कुछ सेकंड के लिए स्विच को बिजली से बंद कर दिया गया और फिर से चालू कर दिया गया। रिबूट के दौरान, निम्नलिखित देखा गया था: आईबी लिंक का पतन और वृद्धि, एसआरपी सत्रों का टूटना और बहाली, वीआरटी पर मल्टीपाथ पथ के अस्थायी ड्रॉप। रिबूट के दौरान क्लाइंट I / O जम जाता है।

7. IBRP और IBRN का एक साथ गिरना।

टेस्ट सफलतापूर्वक पास हुए।

8. SCST ड्राइवरों को उतार कर IBRN जोड़ी का एक साथ रुकना।

टेस्ट सफलतापूर्वक पास हुए। परीक्षण के दौरान, IBRN जोड़ी को रोक दिया गया, रिबूट किया गया, और सेवा में वापस रखा गया। यह सब समय, I / O क्लाइंट मशीनें जमी हुई थीं, परीक्षण के बाद सभी क्लाइंट मशीनों को पिघलाया गया, I / O संचालन फिर से शुरू हुआ। निष्कर्ष - IBRN जोड़ी के युगपत स्टॉप को शारीरिक IBRN सर्वर को निर्धारित विंडो (2 रात से सुबह 6 बजे तक) में सेवा देने के लिए किया जा सकता है।

याद रखें कि सभी स्टोरेज सिस्टम सर्वर हमारे ऑस्ट्रियन-मर्करी डेटा सेंटर में स्थित हैं, स्वतंत्र इनपुट से दो पावर स्रोत प्रत्येक रैक से जुड़े हैं, यह अतिरिक्त रूप से यूपीएस और डीजल जनरेटर द्वारा आरक्षित है। इस प्रकार, इस तरह के भंडारण को छोड़ने के लिए, डीसी को डीजल ईंधन की आपूर्ति और उदाहरण के लिए, पूरे मास्को को एक सप्ताह के लिए डी-एनर्जेट करने के लिए (उदाहरण के लिए, OMON) को ब्लॉक करना आवश्यक है।

नए स्टोरेज सिस्टम का प्रदर्शन वास्तव में बहुत अच्छा है, हम IBRN की एक जोड़ी से रिकॉर्डिंग के लिए 120 हजार से अधिक IOPS प्राप्त करने में कामयाब रहे। लेकिन हम विभिन्न रूसी और विदेशी क्लाउड होस्टिंग सेवाओं के डिस्क सबसिस्टम के प्रदर्शन का तुलनात्मक विश्लेषण करने के बाद, निम्नलिखित पोस्ट में से एक में इस बारे में बात करेंगे।

जो लोग पहले से ही नए स्टोरेज सिस्टम का परीक्षण करना चाहते हैं, वे अपने मौजूदा सर्वर को क्लोन कर सकते हैं (सभी नए डिस्क नई प्रणाली पर बनाए गए हैं), या अगले सप्ताह तक प्रतीक्षा करें जब हम अंतिम माइग्रेशन का संचालन करेंगे। उन लोगों के लिए जिनके पास अभी तक स्केलेक्सी में सर्वर नहीं हैं, उन्हें शुरू करने का समय है, परीक्षण के लिए पंजीकरण के लिए 150 रूबल उपलब्ध हैं।