क्लोडो क्लाउड स्टोरेज

हम अपनी नई सेवा, क्लाउड स्टोरेज को हबराबरा समुदाय को प्रस्तुत करने की कृपा कर रहे हैं। इस वर्ग के सभी समाधानों की तरह, यह स्थैतिक सामग्री को संग्रहीत करने और जल्दी से वितरित करने के लिए डिज़ाइन किया गया है - वेबसाइट सामग्री सहित।

जिन लोगों ने उत्कृष्ट हाईलोड + ++ सम्मेलन में भाग लिया, उनके पास भंडारण की व्यवस्था कैसे होती है, इस बारे में हमारी रिपोर्ट सुनने का अवसर मिला। हम जिस बारे में बात करते हैं, उसका एक सारांश, हम हब्रहाब के प्रतिष्ठित दर्शकों को प्रदान करते हैं।

किसी भी बादल का सार अनुरोध पर दिए गए प्रकार के संसाधनों की आवश्यक मात्रा को जल्दी से प्राप्त करने की क्षमता है। परिचित डेस्कटॉप हैं - डिस्क स्पेस, प्रोसेसर पावर, रैम। एक के बाद एक, दूसरे और तीसरे (उदाहरण के लिए, मेमोरी के 256 मेगाबाइट्स और सौ गीगाबाइट्स के लिए एक डिस्क के साथ एक वर्चुअल मशीन का अधिग्रहण किया गया) को लेने से, उपयोगकर्ता हजारों छोटी फ़ाइलों के रूप में इन गीगाबाइट्स को वितरित करने की उम्मीद करता है - और इसे किसी भी संख्या में ग्राहकों को जल्दी से वितरित करने के लिए: जाहिर है किसी तरह का एक विशेष "क्लाउड मैजिक" जिसके बारे में दूर-दराज के विपणक उसे नहीं गाते। वास्तव में, वहाँ अन्य, संसाधनों के इतने परिचित प्रकार नहीं हैं कि आपको अपनी सेवा को डिज़ाइन करते समय ध्यान में रखना चाहिए - उदाहरण के लिए, एक सामग्री वितरण या लोड संतुलन संसाधन।



ऊपर बताई गई संस्थाओं के प्रकारों का उपयोग करके, आप एक समाधान वास्तुकला का निर्माण कर सकते हैं, जो कि पारंपरिक LAMP स्टैक का उपयोग करके, उसी "क्लाउड मैजिक" को लागू करने और बढ़ते लोड के साथ स्केलिंग में आसानी के लिए डिज़ाइन किया जाएगा। हम ऐसी योजना को लागू करने के लिए आवश्यक रूप से लागू कर रहे हैं।

इसलिए, उदाहरण के लिए, सामान्य सर्वर MySQL का उपयोग करने वाले डेटाबेस सर्वर, जैसा कि आप जानते हैं, क्षैतिज रूप से स्केल करना मुश्किल है, इसलिए यह उन्हें लंबवत पैमाने पर बनाने के लिए समझ में आता है - इसके लिए हम स्केल सर्वर काम करते हैं। आदर्श रूप से लोड बैलेंसर के पीछे, उन्हें एक्सेस करने वाले एप्लिकेशन सर्वर को क्षैतिज रूप से बढ़ाया जा सकता है, जो एपीआई का उपयोग करके क्लोन प्रतियों का उत्पादन करता है । सटीक क्लोन का उपयोग करने में सक्षम होने के लिए, इसके लिए विशेष रूप से बनाई गई रिपॉजिटरी के माध्यम से स्थैतिक जानकारी वितरित करने के लिए समझ में आता है - यह आपको सिंक्रनाइज़ेशन में संलग्न नहीं होने देता है, जो अक्सर सामग्री अपडेट के साथ नहीं रखता है।

इसलिए, हम खुद को एक रिपॉजिटरी बनाने का कार्य निर्धारित करते हैं:

• विश्वसनीय भंडारण डेटा;
• सरल डेटा प्रबंधन के साथ - एपीआई के माध्यम से,
  चूंकि इसे प्रोग्राम कोड से उपयोग करने की आवश्यकता है;
• HTTP के माध्यम से "हॉट" सामग्री को जल्दी से वितरित करने में सक्षम;
• सबसे अनुभवी उपयोगकर्ताओं (एफ़टीपी, फ्यूज़) से परिचित बातचीत का इंटरफ़ेस। प्रांतीय सांस्कृतिक केंद्र की साइट का कोई भी कंटेंट मैनेजर फ़ाइल को रिपॉजिटरी में अपलोड करने में सक्षम होना चाहिए (हाँ, हमारे पास भी अपने ग्राहक हैं);

पहिया को सुदृढ़ नहीं करने का फैसला करने के बाद, हमने ओपनस्टैक स्विफ्ट को स्टोरेज के रूप में चुना - हमारे पश्चिमी सहयोगियों द्वारा रैकस्पेस से उपयोग किया जाने वाला समान भंडारण। तस्वीर उनके डिवाइस को काफी अच्छी तरह से समझाती है।



इंटरनेट से एक ग्राहक प्राधिकरण नोड में आता है, वहां अपना टोकन प्रस्तुत करता है, और टोकन के आधार पर, उसे भंडारण के एक विशेष भाग तक पहुंच प्रदान की जाती है। भंडारण समतल है: निर्देशिका संरचना फाइलों की मेटा-विशेषताओं का उपयोग करके सेट की गई है (स्विफ्ट में मेटा-विशेषताएँ आम तौर पर काफी समृद्ध उपकरण प्रदान करती हैं - हम इस बारे में अधिक विस्तार से बात कर सकते हैं अगर ऐसी रुचि है)।

आरंभ करने के लिए, हमने पूरी तरह से स्विफ्ट प्रॉक्सी के साथ स्विफ्ट के आधार पर हल करने की कोशिश की, जो पेसमेकर को चलाने वाले फ्रंट-एंड पर है।



समाधान काम कर रहा है, लेकिन यह प्रोसेसर पर फ्रंट-एंड के लिए प्रति सेकंड 400 अनुरोधों पर पहले से ही सिंक करना शुरू कर दिया, जो हमारी स्थितियों में बिल्कुल बेकार है। इसलिए, हमने एनजीआईएनएक्स को कैशिंग प्रॉक्सी के रूप में जोड़ने का फैसला किया। हमने एसएएस डिस्क पर कैश रखा। चूंकि nginx को डिफ़ॉल्ट रूप से कैश को कई संस्करणों में संग्रहीत करने का पता नहीं है, और हम ओवरहेड RAID 6 पर महंगा SAS डिस्क खर्च नहीं करना चाहते थे, हमने कैटप में बदल दिया और जल्द ही हमारे पास मल्टी-ज़ोन कैश के साथ nginx था। इस कॉन्फ़िगरेशन ने हमारे फ्रंट-एंड को आसानी से 12,000 अनुरोधों का सामना करने की अनुमति दी, जबकि प्रोसेसर पर नहीं, बल्कि फ्रंट-एंड पर गीगाबिट चैनल पर।



उसके बाद, ग्राहकों की इच्छा के अनुसार सेवा का शोधन शुरू हुआ। शुरुआत के लिए, कोई भी सार्वजनिक लिंक पसंद नहीं करता है
http://cs1.clodo.ru/v1/CLODO_0563290e28e0d6f79a83ab6a84b42b7d/public/logo.gif - हर कोई http://st .clodo.ru / logo.gif की भावना में कुछ चाहता था। डोमेन को जोड़ने की क्षमता के अलावा, URL से डिफ़ॉल्ट सार्वजनिक कंटेनर पते को सार्वजनिक करना आवश्यक था। इसे थोड़ा सा "nginx config files पर प्रोग्रामिंग" द्वारा हल किया गया था।

अगली समस्या बहुत अधिक गहन है। बैकएंड से हटाने के बाद, फ़ाइल कैश में रहती है और कुछ समय के लिए उपलब्ध हो सकती है। रैकस्पेस के हमारे सहयोगियों का मानना ​​है कि इस समस्या को हल करने के लिए आवश्यक नहीं है (और वास्तव में, सार्वजनिक वितरण के सभी मुद्दों के लिए, उन्हें सीडीएन भागीदारों के लिए भेजा जाता है)। हमने इस समस्या को हल करने की कोशिश करने का फैसला किया - और दानव केशा ने हमारी मदद की।



पर्ल में एक आकर्षक डेमॉन लिखा गया है और FastCGI के माध्यम से nginx के साथ बातचीत करते हुए, कैश को हर डेटा हटाने के साथ अमान्य कर दिया जाता है। उसी समय, वह खुफिया दिखाने की कोशिश करता है, और, उदाहरण के लिए, जब किसी निर्देशिका से कोई फ़ाइल हटा रहा है, तो वह न केवल फ़ाइल को कैश से निकालता है, बल्कि निर्देशिका की सूची भी निकालता है।

हम पहले ही भंडारण विकास के कई क्षेत्रों की रूपरेखा तैयार कर चुके हैं:

• ग्राहक को अपने भंडारण के लॉग प्राप्त करने की संभावना;
• मीडिया सामग्री, स्ट्रीमिंग का वितरण;
• डेटा केंद्रों के बीच प्रतिकृति;
• पबकोकीज के लिए प्राधिकरण;
• एक nginx मॉड्यूल के रूप में सभी स्विफ्ट-प्रॉक्सी कार्यक्षमता को सक्षम करना;
• HTTP 1.1 के लिए पूर्ण समर्थन;

हमारा वर्तमान समाधान आपको एक स्टोरेज सेगमेंट में 840 टीबी डिस्क स्थान, 7 टीबी कैश और रैम में 512 जीबी कैश की अनुमति देता है। यह सब डेटा सेंटर में 30 इकाइयों में टूट जाता है। पेसमेकर और क्लोडो पैनल (ओपनस्टैक के बाहर लागू किए गए संचालन - उदाहरण के लिए, आपके डोमेन को लिंक करना) द्वारा नियंत्रित डेबियन लाइव पर शेफ का उपयोग करके यह सब स्वचालित रूप से तैनात किया जाता है। सिद्धांत रूप में, एक समान समाधान स्वयं के लिए काफी कम लोहे के साथ बनाया जा सकता है और अपने स्वयं के छोटे निजी बादल में तैनात किया जा सकता है।

क्लाउड स्टोरेज अब एक महीने के लिए उत्पादन में काम कर रहा है, और अब तक हमारे ग्राहकों को इस तथ्य की तरह है कि यह उपयोग करने के लिए बहुत सरल है, और इसकी टैरिफिंग सबसे आसान है, जो हो सकता है - 1 घंटे के लिए 1 जीबी स्टोर करने के लिए 1 कोपेक और 1 जीबी के आउटगोइंग ट्रैफ़िक के लिए 1 रूबल। संसाधन पर भार बढ़ने पर प्रोसेसर और रैम और मूल्य वृद्धि पर कोई अप्रत्याशित भार नहीं होता है: क्लाउड स्टोरेज की लागत का अनुमान लगाना पारंपरिक क्लाउड होस्टिंग का उपयोग करने की तुलना में आसान परिमाण का एक क्रम है।

इस पोस्ट में PS Pictures हमारे क्लाउड स्टोरेज पर पोस्ट की गई हैं।