भंडारण प्रणाली: कैसे धीरे-धीरे, लेकिन निश्चित रूप से उन्हें लोहे से छुटकारा मिलता है

^{पहले डेटा सेंटर में दुर्घटना और दूसरे में सेवाओं का स्वत: पुनः आरंभ होना}

वर्चुअलाइजेशन मेरे पसंदीदा विषयों में से एक है। तथ्य यह है कि अब आप उपयोग किए गए हार्डवेयर के बारे में लगभग पूरी तरह से भूल सकते हैं और व्यवस्थित कर सकते हैं, उदाहरण के लिए, एक "तार्किक" इकाई के रूप में एक डेटा स्टोरेज सिस्टम जो सरल नियमों के अनुसार जानकारी के साथ बातचीत कर सकता है। इसके अलावा, विभिन्न डेटा केंद्रों में वर्चुअल यूनिट और वास्तविक हार्डवेयर के बीच की सभी प्रक्रियाएं वर्चुअलाइजेशन सिस्टम पर आधारित होती हैं और अनुप्रयोगों के लिए दृश्यमान नहीं होती हैं।

यह फायदे का एक गुच्छा देता है, लेकिन कई नई समस्याएं भी पैदा करता है: उदाहरण के लिए, तुल्यकालिक प्रतिकृति में डेटा स्थिरता सुनिश्चित करने का सवाल है, जो नोड्स के बीच की दूरी पर प्रतिबंध लगाता है।

उदाहरण के लिए, प्रकाश की गति एक वास्तविक भौतिक अवरोधक बन जाती है जो ग्राहक को दूसरे डेटा सेंटर को 40-50 या उससे भी कम, पहले से किलोमीटर दूर रखने से रोकता है।

लेकिन चलो शुरू से ही शुरू करते हैं - वर्चुअलाइजेशन वर्चुअलाइजेशन कैसे काम करता है, इसकी आवश्यकता क्यों है, और किन कार्यों को संबोधित किया जा रहा है। और सबसे महत्वपूर्ण बात - आप वास्तव में कहां और कैसे जीत सकते हैं।

थोड़ा इतिहास

सबसे पहले आंतरिक डिस्क वाले सर्वर थे जिन पर सभी जानकारी संग्रहीत की गई थी। यह बल्कि सरल और तार्किक समाधान जल्दी से सबसे इष्टतम नहीं बन गया, और समय के साथ हम बाहरी भंडारण का उपयोग करने लगे। सबसे पहले, सरल, लेकिन धीरे-धीरे विशेष प्रणालियों की आवश्यकता होती है जो आपको अविश्वसनीय रूप से बहुत अधिक डेटा संग्रहीत करने और उन्हें बहुत त्वरित एक्सेस देने की अनुमति देती हैं। स्टोरेज सिस्टम वॉल्यूम, विश्वसनीयता और गति में एक दूसरे से भिन्न होते हैं। विशिष्ट प्रौद्योगिकियों पर निर्भर करता है (उदाहरण के लिए, चुंबकीय टेप, हार्ड ड्राइव, या यहां तक ​​कि एसएसडी, जो अब, निश्चित रूप से, किसी को भी आश्चर्यचकित नहीं करेगा), ये पैरामीटर एक विस्तृत श्रृंखला में विविध हो सकते हैं - मुख्य बात यह है कि पैसा है।

CIO के लिए, सबसे महत्वपूर्ण भंडारण मानदंडों में से एक अभी विश्वसनीयता है। उदाहरण के लिए, एक बैंक के लिए एक घंटे के डाउनटाइम में लोहे के साथ 10-20 तक की लागत हो सकती है, प्रतिष्ठा हानि का उल्लेख नहीं करना - इसलिए, भौगोलिक रूप से वितरित गलती सहिष्णु समाधान मुख्य प्रतिमान बन गए हैं। सीधे शब्दों में कहें - एक दूसरे की नकल करने वाली ग्रंथियां, जो दो अलग-अलग डेटा केंद्रों में होती हैं।

विकास:


I चरण: एकीकृत डिस्क के साथ दो सर्वर


स्टेज II: एक डेटा सेंटर में भंडारण और दो मशीनें।


चरण III: उनके बीच विभिन्न डेटा केंद्र और प्रतिकृति (सबसे आम विकल्प)


IV चरण: इस अर्थव्यवस्था का वर्चुअलाइजेशन। वैसे, बीच में एक गुच्छा में आप छड़ी कर सकते हैं, उदाहरण के लिए, एक अतिरिक्त बैकअप।


V चरण: भंडारण का वर्चुअलाइजेशन (EMC VPLEX)

इस समस्या को हल करने के लिए उपकरणों में से एक EMC VPLEX है, जिसके उदाहरण पर आप इस वर्चुअलाइजेशन के लाभों को स्पष्ट रूप से समझ सकते हैं।

सिस्टम की तुलना

तो क्या बात है?

VPLE X से पहले : दो सर्वर हैं, प्रत्येक अपनी मात्रा देखता है, वॉल्यूम के बीच प्रतिकृति। एक हमेशा खड़ा रहता है और इंतजार करता है, दूसरा हमेशा काम करता है। बैकअप सर्वर के पास प्राथमिक डेटा केंद्र के विफल होने तक लिखने की अनुमति नहीं है
VPLEX की शुरुआत के बाद : प्रतिकृति की आवश्यकता नहीं है। दोनों सर्वर केवल एक आभासी मात्रा को देखते हैं जो सीधे खुद से जुड़ा है। प्रत्येक सर्वर अपने स्वयं के वॉल्यूम के साथ काम करता है, और हर कोई सोचता है कि यह एक स्थानीय वॉल्यूम है। वास्तव में, हर कोई अपने भंडारण के साथ काम करता है।

इससे पहले : डेटा को दूसरे स्टोरेज (फिजिकल स्टोरेज) में ट्रांसफर करने के लिए, आपको सर्वर, क्लस्टर आदि को फिर से कॉन्फ़िगर करना होगा। यह गलती सहिष्णुता को कम करता है और त्रुटियों का कारण बन सकता है: पुनर्निधारण के दौरान, क्लस्टर भाग हो सकता है, उदाहरण के लिए।
इसके बाद : आप सर्वर से गलती सहिष्णुता और पारदर्शी से समझौता किए बिना डेटा ट्रांसफर कर सकते हैं (सभी स्टोरेज सिस्टम VPLEX के अंतर्गत छिपे हुए हैं और सर्वर हार्डवेयर के बारे में भी नहीं जानते हैं)। यांत्रिकी निम्नानुसार हैं: एक नया स्टोरेज सिस्टम जोड़ें, इसे VPLEX के तहत कनेक्ट करें, पुराने को हटाए बिना इसे मिरर करें, फिर इसे स्विच करें और सर्वर को भी ध्यान न दें।

इससे पहले : विभिन्न विक्रेताओं के साथ समस्याएं हैं, उदाहरण के लिए, आप HP प्रतिकृति को EMC सरणी के साथ कॉन्फ़िगर नहीं कर सकते हैं।
के बाद : आप HP और EMC (या अन्य निर्माताओं) की एक सरणी कनेक्ट कर सकते हैं और शांति से दो सौ से एक वॉल्यूम इकट्ठा कर सकते हैं। यह विशेष रूप से अच्छा है, क्योंकि बड़े ग्राहकों के पास अक्सर विषम "चिड़ियाघर" होता है जो आसानी से एकीकृत होता है और आसानी से उन्नत होता है। इसका मतलब यह है कि किसी भी गंभीर प्रणाली को आसानी से और बस एक नए हार्डवेयर में एक साथ सिरदर्द के बिना स्थानांतरित किया जा सकता है।

इससे पहले : आपको प्रतिकृति और क्लस्टर स्विच करने के लिए समय चाहिए।
के बाद : क्लस्टर में केवल एप्लिकेशन को पुनरारंभ किया जाता है, यह हमेशा एक नोड पर या दूसरे पर होता है, लेकिन यह पारदर्शी और जल्दी से स्थानांतरित हो जाता है।

पहले : वास्तुकला सभी सीमाओं के साथ एक जियोक्लेस्टर है।
के बाद : वास्तुकला - स्थानीय क्लस्टर। अधिक सटीक रूप से, सर्वर ऐसा सोचता है, और इसलिए इसके साथ काम करने में कोई कठिनाई नहीं है।

इससे पहले : आपको प्रतिकृति प्रबंधन सॉफ़्टवेयर की आवश्यकता है।
के बाद : VPLEX सिस्टम स्तर पर प्रतिकृति की निगरानी करता है। और वास्तव में, अनिवार्य रूप से कोई प्रतिकृति नहीं है - एक "दर्पण" है।

पहले : SRM बैकअप डेटा सेंटर में VM को पुनरारंभ करने पर अपने प्रतिबंध लगाता है।
के बाद : मानक VMotion बैकअप साइट पर वीएम को ले जाने पर काम करता है (चैनल प्रश्न से पहले: हाँ, हमारे पास साइटों के बीच एक विस्तृत चैनल है, क्योंकि हम एक गंभीर आपदा रिकवरी समाधान के बारे में बात कर रहे हैं)।

बिना डाउनटाइम कैसे आगे बढ़ें?

लोहे के एक टुकड़े से दूसरे हिस्से में जाना अक्सर आवश्यक होता है: लगभग हर दो से तीन साल में, अत्यधिक लोड किए गए सिस्टम को आधुनिकीकरण की आवश्यकता होती है। रूस में, वास्तविकता यह है कि कई ग्राहक बस अपने सिस्टम को छूने और स्थानांतरित करने के बजाय "बैसाखी" का उत्पादन करने से डरते हैं - और अक्सर काफी न्यायसंगत होते हैं, क्योंकि चलते समय त्रुटियों के कई उदाहरण हैं। VPLEX के साथ स्थानांतरित करना आसान है - मुख्य बात ऐसे अवसर के बारे में जानना है।

एक और दिलचस्प बिंदु सिस्टम का हस्तांतरण है जिसके लिए प्रदर्शन समझ से बाहर है। उदाहरण के लिए, एक बैंक एक नई सेवा शुरू करता है, और छह महीने में इसकी उपलब्धता एक महत्वपूर्ण प्रतिस्पर्धी लाभ बन जाती है। लोहे पर भार बढ़ रहा है, आपको एक कठिन और दर्दनाक चाल बनाने की जरूरत है (बैंक एक भी खोए हुए लेन-देन से डरते हैं, और यहां तक ​​कि 5 मिलीसेकंड एक समस्या है)। इस स्थिति में, VPLEX जैसी प्रणालियाँ कम या ज्यादा उचित विकल्प बन जाती हैं। अन्यथा, भंडारण प्रणाली को जल्दी और पारदर्शी रूप से बदलना आसान नहीं होगा।

मान लें कि सिस्टम पुराना है और कठोरता से हार्डवेयर से जुड़ा हुआ है। दूसरे हार्डवेयर में जाने पर, आपको एक ऐसे वातावरण की आवश्यकता होती है जो उपयोगकर्ताओं और सेवाओं के काम को प्रभावित किए बिना हस्तांतरण को पूरा करने में मदद करे। VPLEX के तहत इस तरह की प्रणाली रखने से, इसे आसानी से विक्रेताओं के बीच स्थानांतरित किया जा सकता है - आवेदन भी नोटिस नहीं करेंगे। ओएस समर्थन के साथ कोई समस्या नहीं है। अनुकूलता की सूची में सभी प्रमुख OS जो ग्राहक को मिलते हैं। विदेशी मामलों में, आप विक्रेता या साथी के साथ संगतता की जांच कर सकते हैं और पुष्टि प्राप्त कर सकते हैं।



हम वर्तमान भंडारण प्रणाली (बाईं ओर) लेते हैं और इसे सर्वर और एप्लिकेशन (दाईं ओर) के लिए अदृश्य रूप से EMC VPLEX टूल के साथ मिरर करते हैं। VPLEX के संदर्भ में, इसे वितरित मात्रा कहा जाता है। सर्वर यह सोचना जारी रखता है कि यह एक स्टोर और एक वॉल्यूम के साथ काम करता है।



वास्तव में, पहला स्टोरेज सिस्टम दर्पण के एक टुकड़े जैसा कुछ हो जाता है। हम इसे बंद कर देते हैं - और कदम तैयार है।

सिंक के बारे में

तीन कॉन्फ़िगरेशन हैं - लोकल (1 डेटा सेंटर), मेट्रो (सिंक्रोनस प्रतिकृति) और जियो (2 एसिंक्रोनस डेटा सेंटर)। एक्स-कनेक्शन के साथ एक प्रकार का तुल्यकालिक प्रतिकृति - कैम्पस। सिंक्रोनस प्रतिकृति सबसे अधिक मांग में है (यह रूस में 99% तैनाती है)। यहां प्रकाश की हृदयहीन गति चलन में आती है, जो डेटा केंद्रों के बीच अधिकतम दूरी तय करती है - सिग्नल पास करने के लिए यह 5 मिलीसेकंड होना चाहिए। आप इसे 10 मिलीसेकेंड से कॉन्फ़िगर कर सकते हैं, लेकिन डेटा सेंटर जितने करीब होंगे, उतना बेहतर होगा। आमतौर पर यह 30-40 किलोमीटर अधिकतम होता है।


सिंक्रोनस प्रतिकृति के लिए स्कीमा विकल्प

VPLEX सर्वर को रीड-राइट एक्सेस देता है। सर्वर प्रत्येक साइट पर एक डेटा वॉल्यूम देखते हैं, लेकिन वास्तव में यह एक वर्चुअल वितरित VPLEX वॉल्यूम है। मेट्रो लंबी देरी के लिए अनुमति देता है, कैम्पस अधिक विश्वसनीयता देता है। कैम्पस में, ऐसा दिखता है:


सबसे अच्छी बात यह है कि वर्चुअल मशीन चलते समय प्रतिकृति को स्विच करने में कोई समस्या नहीं है।



कैंपस का उपयोग करते समय, सभी डिस्क सबसिस्टम की विफलता और VPLEX के स्थानीय भाग के परिणामस्वरूप डिस्क के लिए केवल आधे रास्ते का नुकसान होगा। ड्राइव स्वयं सर्वरों के लिए उपलब्ध रहेगी - केवल x- कनेक्शन और VPLEX के दूरस्थ भाग के माध्यम से। यहां बताया गया है कि यह ओरेकल के लिए कैसे काम करता है।

मॉस्को और नोवोसिबिर्स्क में डेटा सेंटर जैसी स्थिति अभी भी हैं, वे अतुल्यकालिक प्रतिकृति द्वारा हल किए जाते हैं। उसका VPLEX भी जानता है कि कैसे, लेकिन पहले से ही जियो के विन्यास में।

और अगर दुर्घटना?

यहाँ VPLEX मेट्रो और VMware हा (लेकिन शायद हाइपर-वी) - और डेटा केंद्रों में से एक में एक दुर्घटना।


किसी अन्य डेटा केंद्र में किसी व्यवस्थापक की भागीदारी के बिना सेवाओं को पुनः आरंभ किया जाता है, जैसा कि Vmware के लिए, यह एक एकल हा क्लस्टर है।

बीच में, गवाह है - एक आभासी मशीन जो दोनों समूहों की स्थिति की निगरानी करती है और यह सुनिश्चित करती है कि जब उनके बीच का संबंध टूट जाता है, तो दोनों डेटा को संसाधित करना शुरू नहीं करते हैं। यही है, यह मशीन "सिज़ोफ्रेनिया" से बचाता है। गवाह दुर्घटना की स्थिति में सबसे वर्तमान प्रति के साथ काम करने के लिए केवल एक क्लस्टर की अनुमति देता है - और समस्या को ठीक करने के बाद, दूसरा केवल डेटा का एक और हालिया संस्करण प्राप्त करता है और काम करना जारी रखता है।

साक्षी को तीसरे मंच पर या क्लाउड प्रदाता पर तैनात किया जाता है। यह वीपीएन के माध्यम से आईपी पर ईएमसी वीपीएक्सएल के साथ संचार करता है। उसे काम करने के लिए किसी और चीज की जरूरत नहीं है।

दूरस्थ साइट डेटा

किसी अन्य डेटा केंद्र में भौतिक रूप से स्थित डेटा प्राप्त करना भी एक प्रश्न नहीं है। क्यों? उदाहरण के लिए, यदि मुख्य डेटा केंद्र में पर्याप्त स्थान नहीं है। फिर आप इसे बैकअप में ले सकते हैं।

विषम लोहा

पारिस्थितिकी तंत्र VPLEX और भागीदार

हमने EMC प्रौद्योगिकियों के आधार पर CROC समाधान केंद्र में ऐसा समाधान बनाया है। एक साइट EMC स्टोरेज पर, एक सिस्को सर्वर (कई के लिए, समाचार यह है कि सिस्को बहुत अच्छे सर्वर का उत्पादन करता है), एक अन्य साइट पर हिताची को वर्चुअलाइज़ किया गया है, और एक आईबीएम सर्वर है। लेकिन जैसा कि आप देख सकते हैं, अन्य सभी विक्रेताओं को भी चुपचाप समर्थन किया जाता है। उस सप्ताह, हमने बैंकों में से एक के लिए प्रणाली का प्रदर्शन किया, जिसके लिए एक स्टैंड बनाया गया था, और उनके विशेषज्ञों ने खुद सुनिश्चित किया कि कोई जाम नहीं थे, और एकीकरण वास्तव में चिकनी था। प्रदर्शन के दौरान, हमने विभिन्न दुर्घटनाओं और असफलताओं की नकल की जो हमने तैयार की, या ग्राहक ने बैठक के दौरान उन्हें सुझाव दिया। अगला कदम कई छोटी प्रणालियों पर एक पायलट परियोजना है। लोहे के इन टुकड़ों के संचालन के अनुभव के बावजूद, प्रत्येक ग्राहक खुद को सुनिश्चित करना चाहता है कि सब कुछ काम करता है। निर्णय केंद्र सिर्फ इसके लिए किया जाता है, इसलिए हम विरोध नहीं करते हैं।

अधिक बोनस

• एक डेटा सेंटर में काम करते समय, VPLEX भी इस डेटा सेंटर के अंदर मिररिंग की समस्या को हल करता है। इसके अलावा, VPLEX आवश्यक प्रदर्शन में मिसकल्चुलेशन के बारे में बहुत नरम है - आप खेल के दौरान एक अधिक शक्तिशाली भंडारण प्रणाली में जा सकते हैं।
• दूरस्थ डेटा केंद्र में क्षमता होने के कारण, मैं उनका उपयोग करना चाहता हूं - आप अपनी साइट पर सर्वर को रखते हुए कुछ मामलों में भंडारण के लिए "बैकअप" डेटा केंद्र का उपयोग कर सकते हैं।

डेटा एक्सेस कैसे काम करता है?

निश्चित रूप से आप पहले से ही सोच रहे हैं कि यह एक स्तर कम कैसे काम करता है। इसलिए, पहले, जब एक साइट पर लिखना और दूसरे से पढ़ना, तो अप्रासंगिक डेटा प्राप्त करने का एक मौका था। VPLEX में एक निर्देशिका प्रणाली है जो दिखाती है कि किस नोड में सबसे हालिया डेटा है, इसलिए कैश को पूरे सिस्टम में साझा किया जा सकता है।


किसी अन्य मशीन द्वारा रिकॉर्ड किए गए सेक्शन को पढ़ते समय, ऐसा गुच्छा काम करता है।

विन्यास

आप छोटे से शुरू कर सकते हैं, उदाहरण के लिए, एक ब्लॉक रखें जिसमें 2 नियंत्रक होते हैं (अर्थात, यह एक दोष-सहिष्णु कॉन्फ़िगरेशन है, 500,000 iops तक) - फिर आप मध्य कॉन्फ़िगरेशन पर जा सकते हैं या प्रत्येक डेटा सेंटर में रैक में अधिकतम 4-नोड कॉन्फ़िगरेशन प्राप्त कर सकते हैं। यही है, 2,000,000 iops तक, जो हमेशा आवश्यक नहीं है, लेकिन काफी प्राप्त करने योग्य है। आप आगे जा सकते हैं और VPLEX डोमेन बना सकते हैं, लेकिन इससे पहले, मुझे लगता है, हमारे बाजार में अभी तक कोई भी परिपक्व नहीं हुआ है।

पेशेवरों और विपक्ष

विपक्ष:

• कार्यान्वयन लागत और लाइसेंस चाहिए
• एक नए दर्शन और ट्रेन कर्मचारियों के लिए संक्रमण पर निर्णय लेना आवश्यक है
• सबसे अधिक संभावना है, संक्रमण प्रक्रिया को चरणबद्ध किया जाएगा (लेकिन याद रखें कि हमने अपने सर्वरों को कैसे वर्चुअलाइज किया है!)

पेशेवरों:

• आप लोहे से छुटकारा पा सकते हैं और सिस्टम के कुछ हिस्सों की विफलता के बारे में चिंता नहीं कर सकते हैं, पांच नाइन की विश्वसनीयता प्राप्त कर रहे हैं।
• आसान स्केलिंग और चलती है।
• आभासी मशीनों और अनुप्रयोगों के साथ सरल जोड़तोड़।
• कोई मल्टी-वेंडर समस्या नहीं।
• डेटा केंद्रों में स्थानीय भंडारण समस्याओं को हल करने के लिए एक निश्चित स्तर से एक प्रणाली सॉफ्टवेयर के एक गुच्छा से सस्ता है।
• सभी कार्यों की सादगी और पारदर्शिता के कारण, VPLEX का उपयोग मानव त्रुटियों की संख्या को काफी कम करता है।
• गलत प्रदर्शन के पूर्वानुमान को माफ कर देता है।
• VPLEX आपको एक विशिष्ट कार्य के लिए लोहे को तेज करने के बारे में सोचने की अनुमति नहीं देता है, लेकिन इसे जिस तरह से आप चाहते हैं उसका उपयोग करने के लिए।
• फेलओवर से मोबिलिटी की ओर बढ़ना
• सर्वर प्रशासक समान टूल का उपयोग करके पहले की तरह क्लस्टर को कॉन्फ़िगर करते हैं।

की शुरूआत

यदि आप कोशिश करना चाहते हैं या देखना चाहते हैं कि यह सब कैसे काम करता है - vbolotnov@croc.ru पर लिखें। और मैं टिप्पणियों में किसी भी प्रश्न का उत्तर दूंगा।