एक पंक्ति में समाचार:

क्लाउड लॉन्च किया गया

हमने फिर से वर्चुअल मशीन बनाने का अवसर खोला और नए उपयोगकर्ताओं को हमारे क्लाउड में नए पूल में स्वीकार करने के लिए तैयार हैं। टैरिफ समान हैं, अधिक अवसर हैं।

मुख्य परिवर्तन:

• नया क्लस्टर भंडारण
• एलवीएम वर्चुअल मशीन टेम्पलेट को सरल बनाने के लिए अपडेट किया गया
• स्नैपशॉट
• बेहतर नियंत्रण कक्ष प्रदर्शन

दरअसल, इस पर घोषणा समाप्त होती है, फिर बोल शुरू होते हैं।

हम ये 3 महीने क्या कर रहे हैं?

या, अधिक सही ढंग से, "क्या गलत था?"

अद्भुत अजगर भाषा तेजी से विकास के एक उत्कृष्ट साधन के रूप में प्रसिद्ध है। उस पर एक कार्यशील अनुप्रयोग का एक प्रोटोटाइप, "अवधारणा का प्रमाण" लिखें - हाँ। इस पर लिखने के लिए एक एप्लिकेशन जो गणित की तुलना में लाइब्रेरी कोड में अधिक समय बिताता है - हाँ।

लेकिन यहां आप उचित सीपीयू खपत के साथ प्रति सेकंड हजारों लेनदेन के साथ उस पर मल्टीथ्रेडेड एप्लिकेशन लिख सकते हैं ... एक निश्चित बिंदु तक, आप कर सकते हैं। इसके अलावा, वास्तुशिल्प समस्याएं शुरू होती हैं, जिसके साथ संघर्ष करने के लिए एक नए कार्यक्रम की तुलना में अधिक समय लगता है।

यह ठीक ऐसी स्थिति है जो यहां हुई है। उसी समय, कई घटक जो "लिखित और भुला दिए गए" थे (जो कि निकट भविष्य में आगे के विकास के लिए योजनाबद्ध नहीं थे) ने बॉटक्स को दिखाया। कुछ समय के लिए हम कोड के अनुकूलन के साथ "मज़ेदार थे", पुस्तकालय में इसका एक हिस्सा अजगर पर बाँधने के साथ डालने की संभावना पर चर्चा की ... जब तक हमें पता चला कि समस्याएँ तेजी से जमा होती हैं, जब तक हम उन्हें हल नहीं करते। और यह इस तथ्य के बावजूद है कि यह गिरावट हमने लगभग डेवलपर्स की संख्या दोगुनी कर दी है।

नए उपयोगकर्ताओं द्वारा कार्यक्षमता के साथ प्रयोग करने और खेलने से एक अतिरिक्त समस्या पैदा हो गई (हमारे पास इसके खिलाफ कुछ भी नहीं है, लेकिन उस समय नहीं जब सिस्टम पहले से ही कगार पर है) - इससे अतिरिक्त तनाव मिला। उस समय, जब कुछ एपीआई अनुरोध 0.1-0.2 सेट के बजाय 10 एस के लिए निष्पादित करना शुरू कर दिया था (कोई यह देख सकता है कि उस पल में नियंत्रण कक्ष की सामग्री कितनी धीरे-धीरे प्रदर्शित की गई थी, और देरी पूरी तरह से अप्रत्याशित थी), नई मशीनों को बनाने से रोकने का निर्णय लिया गया।

सबसे पहले, इसने नए ग्राहकों से लोड कम किया, और दूसरी बात, जब सभी मशीनें बनाई जाती हैं, तो उपयोगकर्ता शायद ही कभी नियंत्रण कक्ष में जाते हैं और नियंत्रण कक्ष में कॉल की संख्या में काफी गिरावट आई है।

ऐसे समय में जब अत्यधिक खूनी लड़ाइयों के दौरान भार स्थिर हो गया, कार्यात्मकवादियों ने प्रक्रियावादियों को हरा दिया। या, दूसरे शब्दों में, हमने कार्यात्मक प्रोग्रामिंग भाषाओं की ओर देखा।

अर्थात्, हास्केल प्रोग्रामिंग भाषा में।

हाँ, वह भयानक और भयानक भाषा, लेखों में जिसके बारे में कोड पृष्ठ 5-10 पर समाप्त होता है और उच्चतर गणित शुरू होता है।

व्यक्तिगत रूप से, मैं इस भाषा को अपनाने के लिए एक सख्त विरोधी था। हालांकि, समर्थकों के तर्क ने मुझे आश्वस्त किया - सख्त टाइपिंग, प्रकार का अनुमान, पैटर्न मिलान (इसके पूर्णता पर नियंत्रण के साथ ...)

इसे उपभोक्ता गुणों में जोड़ें: एक संकलित भाषा (पढ़ने के लिए: चलाने के लिए, आपको केवल किसी भी वातावरण के बिना एक निष्पादन योग्य फ़ाइल की आवश्यकता है), लंबे समय से पारित बचपन की बीमारियों का एक लंबा इतिहास (20+ वर्ष), सभी अवसरों के लिए बहुत सारे पुस्तकालय (इस तरह से, परिभाषित "हास्केल या ओकामल ”)। मैं अंत में इस तथ्य से मारा गया कि हास्केल कार्यक्रम सी कार्यक्रम के साथ एक सरल आईओ परीक्षण और गणित में नाक-से-नाक चला गया। इसके अलावा, "नाक-से-नाक" - यह तब है जब जीसीसी अनुकूलन सक्षम होता है।

हैसेल प्रोग्रामिंग तेज है? नहीं। मेरी टिप्पणियों के अनुसार, कार्यक्रम अजगर के मुकाबले तीन गुना धीमा लिखा जाता है। हालाँकि, असली अंतर इसके बाद आता है। यह कहने के लिए पर्याप्त है कि अगर हमने अजगर कार्यक्रमों पर उत्पादों के लिए औसतन 3 से 10 बगफिक्स को लुढ़काया है, तो उन कार्यक्रमों को जो हम अब हास्केल पर चलाते हैं, व्यावहारिक रूप से बगफिक्स नहीं होते हैं। अधिकांश परिवर्तन ToR में परिवर्तन के साथ जुड़े हैं, और लॉगबुक में अगले "विशेषता मे विधि फ़ॉबर नहीं है" की प्रतिक्रिया है।

हम अजगर में बहुत कोड लिखते थे, अब हम हास्केल में थोड़ा कोड लिखते हैं।

क्या हमने हास्केल को सब कुछ कॉपी किया है? काश, नहीं, प्रक्रिया उतनी ही आगे बढ़ती है और हमारे अधिकांश कोड अभी भी अजगर में हैं, लेकिन जैसे-जैसे आर्किटेक्चर बदलता है, बाकी सब उस पर फिर से लिखने की योजना बनाई जाती है।

इसके अलावा, अंतिम कॉर्ड के रूप में - हमारे एपीआई सर्वर को अभी भी अजगर में लिखा गया है - और यह "तेज अजगर" था जिसने लॉन्च के साथ दो सप्ताह की देरी का कारण बना, क्योंकि यह नए कार्यों के सभी व्यवहारों को बार-बार और दर्दनाक रूप से रीचेक करने के लिए आवश्यक था जो कि अजगर (डायनामिक टाइपिंग वाली भाषा की तरह) ) मैं जाँच नहीं कर सका।

...

हालांकि, जबकि प्रोग्रामर्स ने शैली का सम्मान किया, सिस्टम प्रशासन विभाग अभी भी नहीं बैठा।

क्लस्टर संग्रहण

हमारी कमियों में से एक गैर-भंडारण भंडारण का उपयोग था। डेटा सुरक्षित था, लेकिन अपटाइम के साथ समस्याओं में ठोकर खाने का मौका था। बहुत बड़ा नहीं था, लेकिन यह था।

Drbd, flashcache और multipath का संयोजन, उम्मीद है कि इस समस्या को हल कर देगा। डेटा 10 छापे पर संग्रहीत किया जाता है, सभी डेटा की एक पूरी प्रतिलिपि क्लस्टर के प्रत्येक नोड पर स्थित होती है। यदि नोड मर जाता है, तो क्लाइंट या तो कुछ भी नोटिस नहीं करते हैं, या (सबसे खराब स्थिति में) डिस्क संचालन में 5-10 सेकंड की देरी प्राप्त करते हैं, जिसके बाद मल्टीपाथ एक वैकल्पिक मार्ग ढूंढता है और आगे के अनुरोध विफलताओं के बिना संसाधित होते हैं।

टेम्पलेट्स

कुंजी और मौलिक 3.1-x कोर (सेंटो को छोड़कर, जो अपने स्वयं के दिमाग पर है) के लिए संक्रमण था। उसी समय, अनिच्छा से, हमने उपयोगकर्ताओं को मशीन से कर्नेल लोड करने की अनुमति दी, न कि "हमारा।" अनिच्छा से क्यों? क्योंकि अगर ग्राहक "गलत कर्नेल" डालता है, तो उसकी मशीन फ्रीज होगी या अनुचित व्यवहार करेगी। गरीब, खराब तकनीकी सहायता विभाग। लेकिन इस तथ्य की सुविधा कि कर्नेल को वर्चुअल मशीन के अंदर स्थापित किया गया है, अभी भी आउटवेइंग है।

दूसरा बड़ा बदलाव सिस्टम ड्राइव के लिए LVM का स्विच था। यह विभाजन प्रबंधन प्रक्रिया को बहुत सरल बनाना चाहिए।

OS अपडेट किया गया: OpenSUSE 12.1, CentOS 5.7, डेबियन व्हीज़ी दिखाई दिया। एक टेम्पलेट ClearOS (जो वीपीएन सर्वर के लिए एक वेब इंटरफ़ेस चाहते हैं) के साथ दिखाई दिया। विकास में कुछ और उपयोगी टेम्पलेट।

स्नैपशॉट

सबसे कठिन और कठिन कार्य जिसे हमने बड़ी सफलता के साथ हल किया है। स्नैपशॉट और उनके काम के सिद्धांतों के बारे में, मैं एक अलग लेख लिखूंगा, लेकिन अब स्नैपशॉट का एक "निचोड़" है:
* स्नैपशॉट को कार को रोके बिना "ऑन द गो" बनाया जाता है
* स्नैपशॉट्स कालानुक्रमिक सूची और "ट्री" दोनों बना सकते हैं।
* स्नैपशॉट केवल परिवर्तित डेटा (न्यूनतम आकार - 8 एमबी) की दुकान
* नियमित डिस्क स्थान की कीमत पर स्नैपशॉट को डिस्क स्पेस (अलग लाइन) के रूप में भुगतान किया जाता है
* डिस्क स्नैपशॉट केवल "नियमित" डिस्क के उपयोग को रोकने के बिना केवल मौजूदा मशीनों में पढ़ा जा सकता है।

यह अच्छी तरह से और आसानी से करने के लिए, हमें एक्सपी क्लाउड प्लेटफॉर्म में सामान्य स्नैपशॉट्स को बहुत दृढ़ता से फिर से लिखना पड़ा, विशेष रूप से, स्नैपशॉट के बीच पेड़ के संबंधों और किसी भी स्नैपशॉट के बीच फ्री किकबैक की संभावना के लिए समर्थन जोड़ें।

नियंत्रण कक्ष

हमने सेवा के निलंबन से पहले शीघ्र ही नए नियंत्रण कक्ष के डिजाइन को तैयार किया (मूर्खतापूर्ण, हां, लेकिन अब हर कोई इसे देख सकता है)। इसके अलावा, हमने आँकड़ों को फिर से लिखा और कुछ प्रकार के प्रश्नों में डेटाबेस पर लोड को काफी कम कर दिया। उसी समय, शोर के लिए, हमने सीएसवी में खपत डेटा के अपलोड को जोड़ा।

एर्गोनॉमिक्स के लिए बहुत समय समर्पित था। उदाहरण के लिए, पासवर्ड, आईपी पते और अन्य डेटा जैसे कि अक्सर कॉपी किए जाने वाले फ़ील्ड इस तरह से बनाए जाते हैं कि पड़ोसियों पर रेंगने के बिना एक डबल क्लिक उन्हें और केवल उन्हें चुनता है। नियमित मेनू में सभी नियंत्रण स्थिर हैं (अर्थात, वे आगे और पीछे नहीं कूदते हैं और संदर्भ के आधार पर मूल्य नहीं बदलते हैं)। यह "खतरनाक संचालन" पर लागू नहीं होता है, जहां हमारा मुख्य कार्य अधिकतम सुविधाएं बनाना नहीं था, लेकिन यह सोचने के लिए कि "मुझे चाहिए या नहीं।" वैसे, अगर किसी मामले में किसी को "बहुत अधिक करने" की स्पष्ट भावना है - मुझे (या टिकटों में) लिखें। हम एक सुधार का वादा नहीं करते हैं, लेकिन कम से कम मैं इसे लागू करने के बारे में सोचता हूं और अगर हम इसके साथ आ सकते हैं, तो हम इसे लागू करेंगे।

पुराने पूल का भाग्य

वास्तु परिवर्तनों के कारण, हम पुराने पूल में नई सुविधाओं को लागू करने में सक्षम नहीं थे, उन्हें नए पूल में लागू किया गया है (इसमें वर्चुअल मशीनें बनाई जाएंगी)।

• सहायता: पूल (पूल) - एक सर्वर का एक समूह जिसमें एक एकल प्रशासनिक केंद्र (पूल मास्टर्स) होता है जिसमें एकल कॉन्फ़िगरेशन और साझा संग्रहण होता है। हमारे क्लाउड के संदर्भ में, इसका अर्थ है क्लाउड सेगमेंट की उच्चतम श्रेणीबद्ध इकाई। पूल एक दूसरे के साथ बातचीत नहीं करते हैं, हालांकि वे एक एपीआई सर्वर का पालन करते हैं।

हम लंबे समय तक पुराने पूल को बनाए रखना जारी रखेंगे (मैं वादा नहीं करता कि यह हमेशा होगा, लेकिन बहुत लंबे समय के लिए, निश्चित रूप से), और नए पूल में सभी नई मशीनें बनाई जाएंगी - स्नैपशॉट, "देशी कर्नेल" वहां काम करेंगे और नए टेम्पलेट वहां स्थित हैं। ।