मूक क्रांति: डेटा केंद्रों में फ्लैश मेमोरी

फ्लैश मेमोरी पहले से ही डेटा सेंटर में क्रांति ला रही है: फ्लैश के लिए डेटा ट्रांसफर करना कई केंद्रीकृत आईटी सिस्टम के विकास में अगला कदम है। हां, यह काफी महंगा है, इसकी अपनी विशेषताएं हैं - और फिर भी आज डेटा सेंटर प्रशासकों के लिए सवाल यह नहीं है कि फ्लैश मेमोरी का उपयोग करें या नहीं, लेकिन यह कैसे और कब करना है।



यहां, इस विषय में , पृष्ठभूमि की जानकारी पहले से ही दी गई थी, जिसमें दिखाया गया था कि नए प्रकार के ड्राइव थ्रेशर के लिए काफी तेज और अधिक विश्वसनीय हैं, जिस पर भारी डेटाबेस चल रहे हैं। यदि काम के साथ फ्लैश स्टोरेज को लोड करना संभव है (अर्थात, निरंतर रीड-राइट ऑपरेशन प्रदान करें), इसकी सामग्री एचडीडी सरणी की सामग्री की तुलना में बहुत सस्ती है, साथ ही आपको अतिरिक्त बोनस का एक गुच्छा मिलता है।

नीचे दिए गए सुझाव हैं कि यह कैसे निर्धारित किया जाए कि इस तकनीक पर स्विच करने का समय है या नहीं।

सरल तथ्यों के साथ शुरू करते हैं।

• फ्लैश मेमोरी बहुत महंगी है। हां, फ्लैश ड्राइव और फ्लैश स्टोरेज पर जानकारी के एक गीगाबाइट को संग्रहीत करने की लागत यांत्रिक एचडीडी की तुलना में कई गुना अधिक महंगी है। हालांकि, ऐसे अनुप्रयोगों के लिए जो हजारों IOPS के भंडारण पर भार पैदा करते हैं और डिस्क सबसिस्टम के प्रतिक्रिया समय के प्रति संवेदनशील होते हैं, यह सस्ता और अधिक विश्वसनीय हो जाता है (बेशक, ऐसे अनुप्रयोगों को विशेष भंडारण प्रणालियों पर रखा जाना चाहिए, और एक एसएसडी-ड्राइव या पीसीआई-ई कार्ड पर नहीं। जिसके लिए सैकड़ों हजारों IOPS के सैद्धांतिक प्रदर्शन का दावा किया जाता है)।
• फ्लैश मेमोरी अविश्वसनीय है। कई अभी भी तकनीक को "डंक" मानते हैं और आधुनिक फ्लैश ड्राइव के लिए पहले प्रोटोटाइप की समस्याओं का श्रेय देते हैं। एसएसडी-ड्राइव की संरचना में, और यहां तक ​​कि विशेष भंडारण प्रणालियों में भी, आधुनिक फ्लैश मेमोरी एचडीडी से अधिक विश्वसनीयता संकेतक दिखाती है। इसके अलावा, मेरा मानना ​​है कि कोई भी भंडारण प्रणाली जो गंभीर सेवाओं को चलाती है, आपूर्तिकर्ता या निर्माता द्वारा समर्थित होनी चाहिए। इस मामले में, एचडीडी या एसएसडी की विफलता आपको बिल्कुल परेशान नहीं करती है, इसका प्रतिस्थापन समर्थन सेवा की एक दिनचर्या है। कई आधुनिक भंडारण प्रणालियां स्वयं सेवा केंद्र में विफलता की रिपोर्ट कर सकती हैं। अक्सर आपके द्वारा स्वयं को मना करने के बजाय, वे यात्रा के समय पर सहमत होने के लिए पहले से ही आपको बुला लेते हैं।
• लिखने के चक्रों की संख्या सीमित है। यह सच है, अब - एसएलसी लगभग 100,000 फिर से लिखना चक्र है, एमएलसी 10,000 है। समस्या को ब्लॉक के समान लोडिंग द्वारा हल किया जाता है, और यह नियंत्रक द्वारा प्रदान किया जाता है। केवल एक खंड में पढ़ना और दूसरे में निरंतर परिवर्तन होना असंभव है। इसके लिए जिम्मेदार तंत्र को वियर लेवलिंग कहा जाता है। तो, वायलिन मेमोरी सिस्टम के लिए, यह एल्गोरिथ्म पूरे स्टोरेज स्पेस को समान रूप से "वियर आउट" करता है। अन्य प्रणालियों में, प्रत्येक एसएसडी का नियंत्रक पहनने के स्तर के लिए जिम्मेदार है, जो कम कुशल है। इसी समय, फ्लैश मेमोरी स्पेस (30% तक) का हिस्सा ऐसे पहने हुए ब्लॉकों के रीमैप के लिए आरक्षित है। यदि हम मानते हैं कि डेटाबेस घड़ी के चारों ओर 10TB प्रणाली और साल में 365 दिन 4Kb ब्लॉक (लगभग 100 एमबी / एस) में 25,000 IOPS के साथ लिखेगा, तो SLC प्रणाली का 1% 3 साल और 4 महीने में, 1% एमएलसी सरणी में होगा। 4 महीने।
• फ्लैश मेमोरी पढ़ने के लिए उपयुक्त है, लेकिन लिखने के लिए बहुत अच्छी नहीं है। यह रिकॉर्डिंग प्रसंस्करण तंत्र के कारण है। सेल में रिकॉर्ड करने के लिए, इसे पहले साफ करना होगा। इरासिंग एक सेल के साथ नहीं, बल्कि पूरे ब्लॉक के साथ होती है, जिसमें 64 से 128 और अधिक Kb संयोजित होते हैं। और जब मिटने की प्रक्रिया जारी है, तो अन्य सभी ऑपरेशनों को लंबे समय तक रोका जाता है, जिसे मिलीसेकंड में मापा जाता है। यह देखते हुए कि ब्लॉक आमतौर पर लेन-देन के लिए आवश्यक से बड़ा है, बहुत कुछ "फर्मवेयर" और नियंत्रक ऑपरेशन एल्गोरिदम पर निर्भर करता है। यदि केवल एक डिस्क है, तो प्रक्रिया वास्तव में धीमी है। लेकिन भंडारण प्रणाली बड़ी होने पर स्थिति बदल जाती है। फिर नियंत्रक लोड को पुनर्वितरित कर सकते हैं ताकि रिकॉर्डिंग से पहले सिस्टम को अवरुद्ध करने का प्रभाव सिस्टम के संचालन को बहुत प्रभावित न करे, और यह पढ़ने के लिए लिखने के लिए लगभग उतना ही प्रदर्शन देने में सक्षम होगा। यदि आप रिकॉर्ड करते हैं और उन्हें सेल में क्रमिक रूप से लिखते हैं, तो आपको बहुत कम विलोपन की आवश्यकता होगी।
• प्रति ब्लॉक रीड चक्र की संख्या के साथ त्रुटियां बढ़ती हैं। हां, यह एक सच्चाई है। पिछली समस्याओं की तरह, यह मुद्दा नियंत्रक द्वारा तय किया जाता है। सबसे पहले, उसे अप्रचलित कोशिकाओं को हटाना चाहिए। लेकिन भले ही यह तंत्र अचानक विफल हो गया, किसी ने भी RAID संरक्षण को रद्द नहीं किया जो भंडारण नियंत्रकों या सर्वरों पर काम करता है।
• मीडिया के भरते ही स्पीड कम हो जाती है। हां, प्रदर्शन आदर्श है जब मेमोरी लगभग उपयोग नहीं की जाती है, लेकिन जैसा कि आप डेटा को अधिलेखित करते हैं, ब्लॉक रहते हैं जहां कुछ कोशिकाओं में आवश्यक डेटा होते हैं, और कुछ नहीं होते हैं। नियंत्रक अपूर्ण कोशिकाओं से आवश्यक डेटा स्थानांतरित करके और उन्हें डिस्क पर मिटाकर कचरा संग्रहण प्रक्रिया शुरू करता है। 400 जीबी डिस्क की सही गति को समझने के लिए, आपको व्यावहारिक डेटा प्राप्त करने के लिए विभिन्न लेनदेन में उस पर कम से कम 1 टीबी लिखना होगा। यहाँ दो रेखांकन का एक चित्रण है। बेशक, संग्रहण प्रणाली पर डेटा की मात्रा जितनी अधिक होगी, पैंतरेबाज़ी और इस प्रभाव को चौरसाई करने के लिए अधिक से अधिक स्थान।

वायलिन VMA3205 PCI-e फ्लैश कार्ड और बाहरी फ्लैश स्टोरेज क्षमता ग्राफ

क्यों उपयोग करें?

एंटरप्राइज़ अनुप्रयोग

यह पहला अच्छा उपयोग मामला है। फ्लैश मेमोरी दो प्रमुख मैट्रिक्स में सुधार करती है जो आईटी सिस्टम के उपयोगकर्ताओं और प्रबंधन के लिए महत्वपूर्ण हैं: आवेदन की उपलब्धता और प्रदर्शन। यदि दो शर्तें पूरी होती हैं, तो फ्लैश मेमोरी अपने सभी महिमा में प्रदर्शन करेगी:

1. एक काफी भरी हुई एप्लीकेशन। बिग ओरेकल, एसएपी, सीआरएम, ईआरपी, एंटरप्राइज पोर्टल उत्कृष्ट उम्मीदवार हैं।
2. डुप्लिकेट नियंत्रक और सर्वर कनेक्शन के साथ बाहरी भंडारण का उपयोग करना।

दूसरी ओर, कुछ लोग स्मृति को चमकाने के लिए संक्रमण को सभी बीमारियों के लिए रामबाण मानते हैं। यह ऐसा नहीं है, लेकिन उद्यम अनुप्रयोगों की उत्पादकता बढ़ाने के लिए यह उपकरण वास्तव में प्रभावी है, यह वास्तव में आपको बाजार में मौजूद अन्य समाधानों की तुलना में सबसे कम कीमत पर इसे प्राप्त करने की अनुमति देता है। निर्णय लेने से पहले, आपको अपने सिस्टम की लोडिंग को विशेष रूप से देखना होगा। जैसा कि मेरे अभ्यास से पता चलता है, 70-80% मामलों में एप्लिकेशन की गति के साथ समस्या या तो सीधे डिस्क सबसिस्टम की कम गति से संबंधित होती है, या डिस्क एक्सेलेरेशन द्वारा स्थिति को गंभीर रूप से सुधारा जा सकता है।

वैसे, ऐसा समाधान स्पष्ट नहीं हो सकता है। उदाहरण के लिए, जब सिस्टम दिखाता है कि सीपीयू 100% व्यस्त है, तो यह स्वचालित रूप से यह मानने के लिए आवश्यक नहीं है कि सीपीयू को जोड़कर समस्या हल हो जाएगी। आपको एक स्तर गहरा खोदने और यह देखने की आवश्यकता है कि प्रोसेसर किसके साथ व्यस्त है। अक्सर वह इनपुट-आउटपुट (IOWAIT) के इंतजार में व्यस्त रहता है। डिस्क सिस्टम को तेज करने से सीपीयू को लोड किया जा सकता है और समस्या का समाधान हो सकता है।

यह समझने के लिए कि डिस्क सबसिस्टम के साथ कोई समस्या है या नहीं, आपको डिस्क सबसिस्टम के रिस्पांस टाइम का ग्राफ बनाने की जरूरत है। प्रत्येक ओएस के अपने उपकरण होते हैं जो ऐसा करने में आसान बनाते हैं - परफ्यूम, आयोस्टैट, सर, एनमोन और अन्य।

एक बहुत ही सामान्य अनुशंसा के रूप में - यदि उपयोगकर्ता डिस्क की अपर्याप्त गति और प्रतिक्रिया समय के बारे में शिकायत करते हैं - दसियों मिलीसेकंड - कुछ करने की आवश्यकता है। उदाहरण के लिए, यह उन संस्करणों की प्रतिक्रिया का एक ग्राफ है, जिस पर काफी बड़ी प्रसंस्करण प्रणाली स्थित थी। इस गति से, भंडारण प्रणाली ने उसके लिए बहुत बुरा काम किया, खासकर जब लोगों ने काम के बाद एटीएम में प्रवेश किया, या जब सिस्टम ने दिन का योग किया:



अक्सर ऐसा होता है कि भले ही सिस्टम धीमा हो जाता है, लेकिन इसकी शिकायत हमेशा नहीं की जाती है। यदि सिस्टम धीरे-धीरे धीमा हो जाता है, तो लोगों को बस इसकी आदत हो जाती है। वे यह नहीं कह सकते कि यह अच्छी तरह से या बुरी तरह से काम करता है - यह कल की तरह काम करता है, और यह मुख्य बात है। यूजर्स को शिकायत होने लगती है कि क्या सब कुछ ठीक था और यह अचानक खराब हो गया। यह कई उद्यम अनुप्रयोगों पर लागू होता है जो डेटाबेस, आदेशों और ग्राहकों के बारे में जानकारी और इतने पर जमा करते हैं। प्लस यह है कि यह विपरीत दिशा में काम करता है। इसलिए, यदि सिस्टम के उपयोगकर्ता अनुभव को बेहतर बनाने का एक त्वरित और व्यावहारिक तरीका है, तो आईटी विशेषज्ञ हमेशा प्रबंधन की नजर में एक जादूगर की तरह दिखता है। इस संबंध में, हमारा पेशा कुछ हद तक रोज़मर्रा की ज़िंदगी की याद दिलाता है: जब कुछ बुरा हो गया है, तो बाहर खड़े होना आसान है, लेकिन बाहर खड़े रहना बहुत मुश्किल है क्योंकि कुछ बेहतर हो गया है।

वर्चुअलाइजेशन

फ्लैश स्टोरेज के लिए एप्लिकेशन का दूसरा क्षेत्र वर्चुअलाइजेशन है, जो अब लगभग सभी के पास है। ज्यादातर कंपनियां सर्वर वर्चुअलाइजेशन, फिर वर्कस्टेशन, और फिर "क्लाउड" पर जाती हैं। मेरे अभ्यास से, अधिकांश बड़े ग्राहक पहले चरण को पूरा कर रहे हैं, यह वर्ष वर्कस्टेशन वर्चुअलाइजेशन परियोजनाओं में एक गंभीर वृद्धि से चिह्नित है। लेकिन, जैसा कि हमने कई ग्राहकों के उदाहरणों में देखा, अक्सर जब लोहे की थोड़ी मात्रा के लिए बड़ी संख्या में कार्यों को समेकित किया जाता है, तो भंडारण की अड़चन फिर से बन जाती है।

जब आप एक बड़े स्टोरेज पर डेटा सेंटर में सैकड़ों मशीनें लगाने की कोशिश करते हैं (जहां अक्सर उनमें केवल एक दर्जन से अधिक स्थापित करने के बजाय वर्टिकल स्केलिंग संभव होती है), तो यह अक्सर वह जगह बन जाती है जो पूरे सिस्टम की गति को निर्धारित करती है। वर्कस्टेशन के वर्चुअलाइजेशन के लिए परियोजनाओं में यह बहुत ही ध्यान देने योग्य है: अक्सर कार्य दिवस की शुरुआत में समस्याएं होती हैं, जब हर कोई दोपहर के भोजन पर और दिन के अंत में आता है। यदि कंप्यूटर 5 मिनट, और अब 15 के लिए बूट हुआ करता था, और उपयोगकर्ता को यह भी बताया जाता है कि यह सबसे उन्नत तकनीक है, तो यह उसकी नाराजगी को स्पष्ट करता है। इसके अलावा, अधिकारी भी असंतुष्ट हैं: दसियों और सैकड़ों हजारों डॉलर खर्च किए गए थे, और, उनकी उपस्थिति को देखते हुए, यह केवल बदतर था। यहां आप फिर से एक अच्छे जादूगर के रूप में कार्य कर सकते हैं।

अभी भी इस तरह के क्षण को तुरंत आवाज देने लायक है: वस्तुतः, वर्चुअलाइजेशन के लिए उपयुक्त भंडारण स्थान सर्वर पर पारंपरिक हार्ड ड्राइव की तुलना में बहुत अधिक महंगा है। बस उस राशि को लेना जो प्रत्येक उपयोगकर्ता के पास थी और इसे एक बड़े, अच्छे स्टोरेज सिस्टम में कॉपी करना काम नहीं करेगा, आपको किसी तरह से स्पेस को ऑप्टिमाइज़ करने की आवश्यकता है।

भंडारण के लिए संक्रमण के दौरान एक लोकप्रिय अनुकूलन तकनीक को "गोल्डन इमेज" कहा जाता है। उदाहरण के लिए, जब आपको विंडोज 7 के साथ 1000 कंप्यूटरों की आवश्यकता होती है, तो आपको 1000 वितरणों को स्थापित करने और ऑपरेटिंग सिस्टम फ़ाइलों के कई टेराबाइट्स पर कब्जा करने की आवश्यकता नहीं होती है। वर्चुअलाइजेशन सिस्टम ऑपरेटिंग सिस्टम की एक तथाकथित "सुनहरी छवि" बनाएगा। उसी समय, सभी उपयोगकर्ता इससे पढ़ेंगे, और केवल उन फ़ाइलों के अलावा जो छवि में संग्रहीत हैं, उनकी वर्चुअल मशीन पर संग्रहीत की जाएगी। यह स्पष्ट है कि एक ही समय में रीड ऑपरेशन की एक बड़ी मात्रा में डिस्क स्थान की एक छोटी राशि पर क्रैश हो जाता है। इस घटना में कि संदर्भ छवि किसी भी तरह गंभीरता से बदलती है (उदाहरण के लिए पैच स्थापित किए जाते हैं), हजारों वर्कस्टेशन अपडेट किए जाते हैं। निश्चित रूप से, यह स्टोरेज पर भारी भार भी देगा। फ्लैश मेमोरी ऐसे क्षणों को अपेक्षाकृत आसानी से और वर्कफ़्लो में मजबूर पोज़ के बिना राहत देने में मदद करती है।

बचत: बोनस

ऊपर, मैंने पहले से ही 100% CPU उपयोग के साथ एक उदाहरण दिया है, जबकि एक पढ़ने-लिखने के संचालन की प्रतीक्षा कर रहा है। यदि आप उस समय को कम करते हैं, जिसके दौरान प्रोसेसर निष्क्रिय है, तो डिस्क सबसिस्टम की प्रतीक्षा में, आपको मुख्य समस्या को हल करने के लिए कम प्रोसेसर की आवश्यकता हो सकती है। इससे सर्वर के अपग्रेड में देरी हो सकती है।

इसके अलावा, अधिकांश कॉर्पोरेट सॉफ़्टवेयर जैसे कि ओरेकल, एसएपी, वीएमवेयर और इसी तरह, भौतिक प्रोसेसर या उनके कोर पर लाइसेंस प्राप्त है। तदनुसार, ग्राहक, क्षैतिज रूप से स्केलिंग करता है, प्रोसेसर के लिए कई दसियों का भुगतान करता है (ये हाई-एंड सर्वर में कीमतें हैं), और फिर सॉफ़्टवेयर के लिए और भी अधिक भुगतान करता है। लेकिन इसके भंडारण के त्वरण के लिए, जो कोई कम प्रभाव नहीं देगा, सॉफ्टवेयर निर्माताओं को कुछ भी भुगतान करने की आवश्यकता नहीं है।

सारांश

यदि आपके पास एक अत्यधिक भरी हुई प्रणाली है, तो इस बात का विश्लेषण करें कि मौजूदा भंडारण प्रणाली इसके लिए कितनी पर्याप्त है। यदि आपको जानकारी के भंडारण का अनुकूलन करने की आवश्यकता है, तो आपको निश्चित रूप से कम से कम फ्लैश संग्रहण की कोशिश करनी चाहिए। अंधविश्वास का एक गुच्छा फ्लैश के साथ जुड़ा हुआ है, किसी भी नई तकनीक के साथ, अनिश्चितता के रूप में कि क्या समाधान उपयुक्त है या नहीं, साथ ही समझने योग्य रूढ़िवाद। यह केवल अभ्यास में सबसे अधिक बार हल करना संभव है। बस इसे आज़माएं: एक अनुकूल विक्रेता या सिस्टम इंटीग्रेटर से एक परीक्षण के लिए आपके सिस्टम में फ्लैश सिस्टम या कई एसएसडी डिस्क पूछें, परिणाम की गणना करें और मूल्यांकन करें कि आपको वास्तव में इसकी कितनी आवश्यकता है।

निकट भविष्य में, वायलिन मेमोरी डेमो सरणी हमारे पास आ रही है, अब पहले से ही एक छोटी कतार बनाई जा रही है। यदि आप इसमें रुचि रखते हैं (और आपके पास ऐसे कार्य हैं जिनके लिए उच्च भंडारण क्षमता की आवश्यकता है), तो आप मुझे dd@croc.ru पर लिख सकते हैं।