हार्डवेयर का एक उत्कृष्ट टुकड़ा कैसे बनाया जाए - नए EMC VNX स्टोरेज सिस्टम का अवलोकन

EMC स्टोरेज सिस्टम एक अच्छी जर्मन कार की तरह हैं। आप जानते हैं कि आप ब्रांड के लिए थोड़ा भुगतान करते हैं, लेकिन डेटा सुरक्षा और जवाबदेही सुनिश्चित की जाती है। और सेवा: प्रीमियम गारंटी, उदाहरण के लिए, यदि आवश्यक हो तो एक इंजीनियर के प्रस्थान के साथ 4 घंटे के भीतर स्पेयर पार्ट्स की डिलीवरी।

अपेक्षाकृत हाल ही में, उपकरणों की एक नई लाइन जारी की गई है, जिसमें से प्रमुख आपको 1,500 डिस्क तक रखने की अनुमति देता है - कुल 6 पीबी । सिद्धांत रूप में भंडारण के बारे में एक संक्षिप्त शैक्षिक कार्यक्रम के साथ नीचे उसकी समीक्षा है। और वास्तव में अच्छी चीजों की कहानी ने और भी बेहतर किया।

सही दूर है

मुझे पता है कि तुरंत लागत के लिए पूछें। वह लंबा है। आपको कम से कम तीस हजार डॉलर का भुगतान करने की आवश्यकता है। इस पैसे के लिए वे शक्तिशाली कार्यक्षमता, तीन साल के समर्थन और अद्यतन किए गए सॉफ़्टवेयर के साथ पूरी तरह से दोष-सहिष्णु कॉन्फ़िगरेशन देते हैं, जिनके बारे में नीचे चर्चा की जाएगी। यही है, सिस्टम घर से दूर है और छोटे व्यवसायों के लिए भी नहीं।

इस पैसे के लिए आपको सबसे महत्वपूर्ण बात: डीयू / डीएल के बारे में भयावह शब्द रिपोर्ट में दिखाई नहीं देंगे। और यह सेवा इंजीनियरों और ग्राहकों के लिए सबसे खराब संयोजन है। डाउनटाइम या डेटा हानि के जोखिमों को कम करना CIO किसी भी तरह से लड़ने के लिए तैयार है।

आपको हाइब्रिड स्टोरेज की आवश्यकता क्यों है?

पहला, थोड़ा इतिहास। बहुस्तरीय भंडारण तेज और सस्ते का एक संयोजन है, लेकिन एक डेटा सरणी में कैपेसिटिव डिस्क है। इस तरह के संयोजन की संभावना तब भी थी जब हमने केवल उनकी अंतरिक्ष लागत को देखते हुए फ्लैश-डिस्क के बारे में सपना देखा था। तो, एक मिथक है कि प्रदर्शन को बेहतर बनाने के लिए इस चिप का आविष्कार किया गया था। और नहीं! प्रारंभ में, इस तरह के भंडारण का उपयोग पैसे बचाने के लिए किया जाता था: हम डेटा डालते हैं जो धीमी और सस्ती डिस्क पर उपयोग नहीं किया जाता है। तो आपको कम तेज़ वाले चाहिए - केवल "हॉट" डेटा के लिए।

फिर SSDs ने हमारे जीवन में कसकर प्रवेश किया। एसएसडी से तेज और धीमी डिस्क के हमारे "सूप" में थोड़ा मसाला जोड़ना तर्कसंगत था। सबसे तेज़ और "सबसे गर्म" डेटा, कुल मात्रा का केवल 5-10 प्रतिशत, अब उन पर गिर गया। अपडेटेड वीएनएक्स स्टोरेज सिस्टम हाइब्रिड सरणियों की तीसरी पीढ़ी है जिसमें, मेरी राय में, उन्होंने उत्कृष्ट प्रदर्शन किया है।

तो, एक तरफ, हमारे पास समाधान पूरी तरह से कंप्यूटिंग और फ्लैश-मॉड्यूल से मिलकर है। वे क्लासिक HDDs की तुलना में DRAM के करीब गति पर गर्म डेटा के साथ काम करते हैं, लेकिन साथ ही, संग्रहीत डेटा की एक गीगाबाइट की लागत को पुनर्गणना करते समय ऐसे सिस्टम बहुत महंगे होते हैं। एक नियम के रूप में, उनका उपयोग किया जाता है जहां उच्च गति के साथ 10-20 टेराबाइट्स को लगातार "पीस" करना आवश्यक है। एक उदाहरण अत्यधिक लोड DBMS, VDI है। दूसरी ओर, शास्त्रीय यांत्रिक डिस्क पर सिस्टम इतनी जल्दी डेटा के साथ काम करने की अनुमति नहीं देते हैं, लेकिन उनमें से बहुत से स्टोर करना संभव बनाते हैं (प्रति संग्रहीत गीगाबाइट की लागत कम परिमाण का एक आदेश हो सकता है)।

हालांकि, ज्यादातर मामलों में, आपको एक ही समय में बड़ी मात्रा में भंडारण की आवश्यकता होती है, और जल्दी से "गर्म" डेटा तक पहुंच प्रदान करते हैं। जब आप वर्चुअलाइजेशन, मेल, अभिलेखागार, आदि के लिए वॉल्यूम के रूप में एक ही समय में किसी प्रकार के DBMS को स्टोर करने की आवश्यकता होती है, तो स्टोरेज के लिए एक विशिष्ट कार्य है ... इन मामलों में, या तो फ्लैश-एसएचडी + क्लासिक एसएचडी बंडलों या मिश्रित (हाइब्रिड) प्रकार के भंडारण का उपयोग किया जाता है। आज हम केवल बाद के बारे में बात कर रहे हैं - एक ही सिस्टम में फ्लैश ड्राइव और क्लासिक ड्राइव दोनों का समर्थन।



इसलिए, पिछली पीढ़ी की प्रणाली पहले से ही बहुत अच्छी थी। वह स्वयं फ्लैश-मॉड्यूल के साथ काम करने में सक्षम थी और वह सब कुछ करने में सक्षम थी जो अत्यधिक लोड किए गए अनुप्रयोगों के साथ काम करने के लिए आवश्यक है। सामान्य तौर पर, ऐसा लग सकता है कि कुछ बेहतर करना काफी कठिन है, और उत्पादकता में और वृद्धि केवल लोहे के कारण ही संभव है। लेकिन नहीं, डेवलपर्स सक्षम थे, प्लेटफ़ॉर्म के सॉफ्टवेयर हिस्से में गंभीर बदलाव किए, ताकि प्रदर्शन में भारी लाभ हासिल किया जा सके।

नई पीढ़ी

ये बातें हैं।



सबसे पहले, नया EMC बड़े संस्करणों के लिए डिज़ाइन किया गया है । फ्लैगशिप आपको 1500 ड्राइव तक डालने की अनुमति देता है। वैसे, हमारा एक ग्राहक इन 6 पीबी का उपयोग कर सकता है, क्योंकि वहां बहुत अधिक डेटा है, लेकिन व्यवहार में अभी तक 2BB से अधिक कार्यान्वयन नहीं हुए हैं।

सब कुछ तेजी से काम करता है। एक बड़े कैश के साथ, एक्स-ब्लेड (फ़ाइल सर्वर) अब अधिक अनुकूलित हैं। हां, हां, यह मत भूलो कि इस भंडारण तक पहुंच या तो ब्लॉक हो सकती है (FC, iSCSI, FCoE) या फ़ाइल (CIFS, NFS)।

जोड़ा गया नया ब्लॉक समर्पण। नीचे उसके और अन्य सॉफ़्टवेयर विवरणों के बारे में।

हार्डवेयर घटक को अद्यतन किया गया है। ब्लॉक नियंत्रक अब पूर्ण SSD कॉन्फ़िगरेशन के साथ काम करने और 32 कोर तक समर्थन करने में सक्षम हैं।


ब्लॉक कंट्रोलर आर्किटेक्चर

पिछली पंक्ति से मुख्य अंतर (अधिक नीचे)

• MCx मल्टी-कोर आर्किटेक्चर (R5.33): पिछली पीढ़ी की तुलना में 4 गुना तेज़ प्रदर्शन, मल्टी-कोर कैश और फास्ट कैश मैनेजमेंट, मल्टी-थ्रेडेड RAID प्रबंधन
• तेजी से वीपी अपडेट
• तुल्यकालिक सक्रिय / सक्रिय LUN मोड
• वर्चुअल रिकवरपॉइंट (vRPA)
• HyperV ODX और SMB 3.0 के लिए समर्थन

लोहा

एक नया नियंत्रक हार्डवेयर दिखाई दिया है - प्रमुख को छोड़कर सब कुछ नए डीपीई प्लेटफॉर्म का उपयोग करता है। प्रमुख परिवर्तनों में से एक और बैकअप पावर मॉड्यूल है। फ़ॉल्ट-टॉलरेंट पावर बैटरी को फ्लैगशिप को छोड़कर सभी मॉडलों के लिए कंट्रोलर में बनाया गया है। पुराने मॉडल में अभी भी बैटरी है, लेकिन अब 2 नहीं हैं, लेकिन 4 टुकड़े हैं, और उन्हें अब परिमाण के क्रम द्वारा और अधिक सुविधाजनक बनाया गया है।

नियंत्रक और अलमारियों का लेआउट अभी भी पहले जैसा है (VNX8000 एक अपवाद है):



ड्राइव पर एक नज़र डालें:



अब फ्लैश ड्राइव को दो श्रेणियों में विभाजित किया गया है: अल्ट्राफास्ट (ईएमएलसी) का उपयोग कैश और टियर स्टोरेज के लिए किया जाता है, नियमित (केवल एमएलसी) - केवल टियरड स्टोरेज के लिए।

मुलायम

सॉफ्टवेयर की बुनियादी कार्यक्षमता "बॉक्स से बाहर" अब भी अधिक है, लेकिन यह सामान्य रूप से अपेक्षित था।

दिलचस्प बात यह है कि नए सॉफ्टवेयर फीचर सामने आए हैं। उदाहरण के लिए, मैं प्रोसेसर संसाधनों के आवंटन के नए दृष्टिकोण से बहुत खुश था । पहले, एक प्रक्रिया को निश्चित संख्या में कोर प्राप्त हुए और उन पर ही काम किया। यही है, कुछ प्रक्रियाओं के असमान डाउनलोड (वास्तविक प्रणालियों के लिए लगातार पर्याप्त) के साथ कोर पर एक असमान भार था। कहीं, कर्नेल निष्क्रिय हो सकता है, और कहीं, लोड 100% के करीब था। नए आर्किटेक्चर ने अधिक से अधिक वर्चुअलाइजेशन - डायनेमिक रिसोर्स शेयरिंग और मल्टी थ्रेडेड प्रोसेसिंग की ओर एक कदम बढ़ाया है।

पूरी तरह से कैश बदल दिया। पहले, मेमोरी को 2 क्षेत्रों में विभाजित किया गया था: कैश लिखें और कैश पढ़ें। ये दो बफर्स ​​इंटरसेक्ट नहीं हुए। तदनुसार, एक ने इष्टतम ब्लॉकों के साथ डिस्क पर डेटा लिखने का अनुकूलन किया, और दूसरे ने निम्नलिखित ब्लॉकों के पढ़ने की भविष्यवाणी की। इसलिए, नए सरणियों पर, कैश को पूरी तरह से पुनर्गठित किया जाता है, अब सरणियाँ डायनेमिक कैश का उपयोग करती हैं, जो मेमोरी को अलग-अलग क्षेत्रों में विभाजित किए बिना दोनों कार्यों के लिए जिम्मेदार है। इस दृष्टिकोण ने न केवल मेमोरी स्पेस के अधिक कुशल उपयोग की अनुमति दी, बल्कि नाटकीय रूप से उत्पादकता में भी वृद्धि हुई। निर्माता के अनुसार, विशिष्ट भार पर, यह बहुत जादुई रूप से कैश प्रदर्शन को 5 गुना तक बढ़ा देता है।





Redesigned Fast cache - ये एक अतिरिक्त cache के रूप में उपयोग किए जाने वाले फ़्लैश डिस्क हैं। संसाधनों के गतिशील आवंटन के कारण अब उन्हें अधिक प्रोसेसर संसाधन दिए गए हैं। इसके अलावा, फास्ट कैश अब तेजी से ईएमएलसी डिस्क प्रदान करता है। नतीजतन, डेवलपर्स अधिक आक्रामक एल्गोरिदम का उपयोग करने में सक्षम थे, जो कैश को बहुत तेज़ी से वार्मिंग करता है। उसी समय, इंजीनियरों ने क्लासिक कैश एल्गोरिदम के डेवलपर्स के साथ, ड्राइवरों के ऊपर जाकर उन्हें मॉड्यूलर सिद्धांत के तहत फिर से लिखा, जिससे उत्पादकता भी बहुत बढ़ गई और एक व्यक्तिगत कॉल के प्रतिक्रिया समय में काफी कमी आई।

पूरी तरह से स्वचालित भंडारण Tiering वर्चुअल पूल (फास्ट VP)। यह एक ही "पूल" में विभिन्न डिस्क के संयोजन के लिए एक ही तंत्र है। यह भी काफी बदल गया था और अधिक बारीकी से फास्ट कैश के साथ एकीकृत किया गया था। वैसे, फास्ट वीपी ग्रैन्युलैरिटी 4 गुना कम हो गई है और अब डेटा को 256 एमबी टुकड़ों में स्थानांतरित किया गया है।

यहां, शायद, शुरुआत में वापस जाना प्रासंगिक होगा, जहां मैंने कहा था कि डिस्क के मिश्रण से उत्पादकता में वृद्धि नहीं होती है। अब जब हमारे पास भंडारण के लिए और कैश के रूप में एसएसडी का उपयोग करने का अवसर है, तो हम गति और डेटा भंडारण और प्रसंस्करण की दक्षता के बारे में बात कर सकते हैं।



नई ब्लॉक डिडुप्लीकेशन। यह सिद्धांत दुनिया जितना पुराना है: ब्लॉक पर डेटा बीट, समान ब्लॉक एक बार संग्रहीत किए जाते हैं। डुप्लिकेट ब्लॉक के लिए, उसी ब्लॉक के लिंक का उपयोग अभिलेखागार में किया जाता है। अब यह सब आभासी वातावरण के लिए बहुत "जमीन" है।



नई भंडारण प्रणालियों पर, कटौती निर्धारित है। उदाहरण के लिए, अनुप्रयोग कार्य अवधि के दौरान कटौती के बिना पूल में डेटा लिखते हैं। फिर, लोड को कम करने के समय, भंडारण इंजन रिकॉर्ड किए गए डेटा का विश्लेषण करना शुरू कर देता है और डुप्लिकेट को हटाकर इसे संपीड़ित करता है। यह सब तेजी से कैश के साथ बहुत अच्छा समझौता है (चूंकि कटे हुए ब्लॉकों पर भार बढ़ जाएगा, और उनकी संख्या स्वाभाविक रूप से कम हो जाएगी, परिणामस्वरूप, वे तेजी से कैश पर स्विच करेंगे)। व्यवहार में, इसका मतलब है कि विषयगत रूप से अधिक डेटा फास्ट कैश में फिट होगा। यह ऐरे के काम को बहुत तेज करता है। दो सबसे विशिष्ट प्रकार के लोड नए तंत्र से सबसे अधिक लाभान्वित होते हैं:

• एक ही प्रकार का आभासी वातावरण, जैसे VDI।
• एकल डेटासेट के लिए कई अनुप्रयोग।

ऐसे भार के लिए अनुमानित बचत होगी:





डिस्क के साथ काम करने का नया सिद्धांत। ईएमसी ने डिस्क के साथ काम करने के सिद्धांत को भी बदल दिया। पहले, डिस्क पता शेल्फ में अपने भौतिक स्थान से बंधा हुआ था, नई पीढ़ी में, सिस्टम को उनके विशिष्ट पहचानकर्ताओं द्वारा डिस्क याद है, जो सिस्टम में डिस्क के स्थान पर अधिक बाध्य नहीं करना संभव बनाता है। यह एक नगण्य परिवर्तन प्रतीत होता है, हालाँकि, अब किसी अन्य साइट पर सरणी को स्थानांतरित करना कितना आसान होगा! आखिरकार, अब आप पहले की तरह उसी क्रम में डिस्क के स्थान के बारे में चिंता नहीं कर सकते। और बैक-एंड पर असंतुलित लोड की समस्या को केवल आसान और तेज परिमाण के आदेशों द्वारा हल किया जा सकता है: बदले में पुनर्व्यवस्थित डिस्क - और आप कर रहे हैं, आपको डेटाबेस को भी बुझाने की आवश्यकता नहीं है। और अब, यदि आवश्यक हो, तो कुछ डेटा को केवल भौतिक रूप से सरणी से बाहर निकाला जा सकता है और अस्थायी रूप से किसी अन्य साइट पर ले जाया जा सकता है, इस तरह का हॉट बैकअप प्राप्त होता है, मुझे लगता है कि आपको यह पता लगाना होगा कि आपको इसकी आवश्यकता क्यों हो सकती है।

अतिरिक्त स्थायी स्पैरिंग तकनीक ने हाय-एंड सिस्टम पर खुद को साबित किया है। इसके अलावा, अब गर्म स्वैपिंग के लिए विशेष डिस्क आवंटित करने की आवश्यकता नहीं है, सरणी डिफ़ॉल्ट रूप से सबसे उपयुक्त अप्रयुक्त डिस्क का उपयोग करेगी।



डिस्क तक नियंत्रक पहुंच के सिद्धांत में महत्वपूर्ण बदलाव हैं। प्रारंभ में, मध्य-श्रेणी प्रणालियों में, एक नियंत्रक डिस्क के साथ काम करता था, और अन्य नियंत्रकों के पहुंच पथ केवल विफलताओं के लिए उपयोग किए जाते थे। असफलता पर, वॉल्यूम दूसरे नियंत्रक पर चला गया। इसका मतलब यह था कि अगर किसी सरणी को पूर्ण सिस्टम संसाधनों की आवश्यकता होती है, तो यह सैद्धांतिक रूप से कुल सिस्टम संसाधनों का 50% से अधिक नहीं प्राप्त कर सकता है - एक नियंत्रक से। यह समस्या आंशिक रूप से अंतिम 2 लाइनों में हल हो गई थी: ALUA तंत्र दिखाई दिया। तंत्र का सार: कैश सिंक्रनाइज़ेशन इंटरफ़ेस के माध्यम से वॉल्यूम के मालिक को नियंत्रक के लिए मेजबान अनुरोधों का हस्तांतरण। दुर्भाग्य से, इस इंटरफ़ेस का थ्रूपुट असीमित से दूर है, और नियंत्रक को वॉल्यूम के मालिक तक पहुंचाना अभी भी तेज है। तरीके सक्रिय और निष्क्रिय के बजाय इष्टतम और गैर-इष्टतम में विभाजित होने लगे। मोटे तौर पर, आदर्श मामले में - उस पर सरणी क्षमता का 75% तक। नई पीढ़ी में, डेवलपर्स आगे बढ़ गए हैं। हार्डवेयर संरचना को बदलने के बिना (!) उन्होंने सरणी के तर्क को सक्रिय-सक्रिय में बदल दिया। अब दोनों नियंत्रक एक साथ एक ही समय में विभिन्न क्षेत्रों को लिखते हैं, बस रिकॉर्डिंग की अवधि के लिए अपने क्षेत्र को अवरुद्ध करते हैं।

व्यवहार में, यदि हम एक कार्य के लिए एक सरणी का उपयोग करते हैं, तो आप एक सस्ता लो-एंड स्टोरेज मॉडल का उपयोग कर सकते हैं। हां, और रास्तों पर संतुलन को लोड करना बहुत आसान हो जाता है। प्लस, इससे पहले, जब LUN को किसी अन्य नियंत्रक के नियंत्रण में ले जाते हैं, तो बाहरी I / O अनुरोधों को संसाधित करने में गंभीर देरी होती थी, और अब एक या दूसरे नहीं होंगे।



सरणी के लिए अद्यतित सॉफ़्टवेयर। बाह्य रूप से, किसी सरणी के साथ काम करने का इंटरफ़ेस बहुत अधिक नहीं बदला है। मेरे व्यक्तिपरक मूल्यांकन में, यह स्टोरेज के लिए सबसे सुविधाजनक इंटरफेस (सौभाग्य से) बना हुआ था - वेब इंटरफेस में राइट क्लिक के एक जोड़े के साथ 99% कार्य किए जाते हैं। विदेशी, ज़ाहिर है, एक कंसोल की आवश्यकता है।

बुनियादी किट अब दीर्घकालिक निगरानी के लिए एक बहुत ही उपयोगी नए उपकरण के साथ आती है। आप फ़ाइल और ब्लॉक भागों पर रिपोर्ट देख सकते हैं - मैट्रिक्स का एक गुच्छा। आप आसानी से बाधाओं को खोजने के लिए अनुमति देता है। इन मेट्रिक्स पर आधारित एक अन्य उपकरण आपको बुनियादी ढांचे के विस्तार की योजना बनाने की अनुमति देता है - ताकि व्यवस्थापक अपने हाथों से विचार न करें कि अगले वर्ष क्या और कितना आवश्यक है।

आभासी वातावरण के लिए एक और बहुत महत्वपूर्ण बात। Arrays अभी भी वर्चुअलाइजेशन सिस्टम के साथ तंग एकीकरण का समर्थन करता है। अगर किसी को पता नहीं है, तो VMware EMC (बल्कि स्वतंत्र, लेकिन विभाजन) का एक विभाजन है। इसलिए VMware प्रोग्रामर और स्टोरेज डेवलपर्स का संयुक्त कार्य। परिणाम एक सहज, सहज और अत्यंत गहन एकीकरण है। वर्चुअल मशीनों को स्टोरेज इंटरफेस (स्टोरेज स्तर पर मशीन संसाधनों की निगरानी) में एकीकृत किया जाता है, विशिष्ट कॉपीिंग और क्लोनिंग लोड को सरणी में ही स्थानांतरित किया जा सकता है, विशिष्ट स्टोरेज एडमिनिस्ट्रेशन कार्यों को VMware इंफ्रास्ट्रक्चर इंटरफेस से किया जा सकता है।



अजीब तरह से पर्याप्त है, लेकिन हाइपर-वी के लिए समान फायदे हैं (चूंकि ईएमसी बहुत लंबे समय से एमएस के साथ मिलकर काम कर रहा है - डेवलपर्स ने ऐतिहासिक रूप से एक साथ काम किया है)। एकीकरण की गहराई का लगभग समान स्तर: सामान्य प्रबंधन, बुनियादी ढांचे का उतारना। MS के लिए विशेष चिप्स हैं - उदाहरण के लिए, शाखा Cahehe कमजोर संचार चैनलों के साथ नेटवर्क के बुनियादी ढांचे को राहत देता है। हाँ! EMC VNX SMB 3.0 को सपोर्ट करने वाला पहला स्टोरेज सिस्टम है।

अभी के लिए बस इतना ही। प्रश्न टिप्पणियों में या ई-मेल VBolotnov@croc.ru से पूछे जा सकते हैं। विशिष्ट कार्यों के लिए लागत के संदर्भ में, मैं विशिष्ट गणनाओं के साथ जल्दी से उन्मुख कर सकता हूं - यदि आवश्यक हो, तो पूछें, समस्या नहीं।

हां। हमने पहले ही अपने VNX5400 डेमो सिस्टम को अपने हाथों में घुमा लिया और इसे उन ग्राहकों में से एक को परीक्षण के लिए भेजा जो इस साल अपने स्टोरेज सिस्टम को अपडेट करने की योजना बना रहे हैं। जल्द ही वह वापस आ जाएगी, इसलिए यदि किसी को अपने आप पर वास्तविक प्रणाली को महसूस करने में रुचि है, तो आप हमारे कार्यालय में आ सकते हैं और ईएमसी समाधान केंद्र को देख सकते हैं। लिखें, एक तारीख पर सहमत हों।

UPD : कुछ भी हो, हमारे पास टेप और डिस्क लाइब्रेरी को नए EMC के साथ बदलने का कार्यक्रम है ।