FlashCache। SSD के रूप में SHD में फ्लैश का उपयोग कैसे करें?

आधुनिक भंडारण प्रणालियों के लिए फ्लैश-मेमोरी का उपयोग लगभग एक रोजमर्रा की घटना बन गया है, एसएसडी - सॉलिड-स्टेट डिस्क की अवधारणा, उद्यम भंडारण प्रणालियों और सर्वरों में व्यापक अभ्यास बन गया है। इसके अलावा, कई लोगों के लिए, फ्लैश और एसएसडी की अवधारणाएं लगभग पर्याय बन गई हैं। हालांकि, नेटएपी स्वयं नहीं होगा यदि फ्लैश के लिए यह उपयोग करने का एक बेहतर, अपना तरीका खोजने के लिए नहीं था।
Flash का उपयोग संग्रहण के लिए कैसे किया जा सकता है, लेकिन SSD के रूप में नहीं?


मैं, शायद, एसएसडी क्या है की परिभाषा के साथ शुरू करूँगा।
SSD या सॉलिड-स्टेट डिस्क (शाब्दिक रूप से: "सॉलिड स्टेट डिस्क", बिना किसी डिस्क, मैकेनिकल पुर्जों के) फ्लैश तकनीक का एक आभासी, एमुलेटेड हार्ड ड्राइव के रूप में उपयोग करते हुए गैर-वाष्पशील मेमोरी का OS स्थान प्रस्तुत करने का एक तरीका है।

सबसे पारंपरिक प्रकार की "गैर-वाष्पशील मेमोरी", अर्थात, ओएस और अनुप्रयोगों के लिए गैर-वाष्पशील मेमोरी, "हार्ड ड्राइव", एचडीडी हैं। सभी ओएस हार्ड ड्राइव के साथ काम कर सकते हैं, इसलिए यह स्वाभाविक होगा, काम को सरल बनाने के लिए और "उपभोक्ता के डेस्क पर पथ" को छोटा करने के लिए, प्रत्येक ओएस के लिए फ्लैश का उपयोग करने के लिए अपनी स्वयं की वास्तुकला का समर्थन करने के लिए नहीं, बल्कि फ्लैश-मेमोरी को सरल और सहज बनाने के लिए। किसी भी OS के ड्राइवर के लिए, छद्म- "हार्ड डिस्क", और बाद में हार्ड डिस्क के रूप में उसके साथ काम करें।

इस दृष्टिकोण के फायदे सरल हैं। यह आपको किसी भी ओएस में मौजूदा ड्राइवरों का उपयोग करने की अनुमति देता है और उनमें से प्रत्येक के लिए विशिष्ट समर्थन को अवरुद्ध करने के लिए नहीं।
विपक्ष - अनुकरण अभी भी अनुकरण है। फ्लैश की कई विशेषताओं को "डिस्क" के रूप में काम करने और उपयोग करने में काफी मुश्किल हो सकती है। एक उदाहरण फ्लैश में डेटा बाइट को फिर से लिखने का एक जटिल संगठन है।

नेटएपी ने फ्लैश का उपयोग करने के लिए अपना विशेष रास्ता चुना है। यह फ्लैश-मेमोरी का उपयोग एक एमुलेटेड "डिस्क" (स्टोरेज) के रूप में नहीं करता है, बल्कि सीधे मेमोरी (मेमोरी) के रूप में करता है।



यह कोई रहस्य नहीं है कि डिस्क पर संग्रहीत डेटा में एक महत्वपूर्ण हिस्सा डेटा द्वारा कब्जा कर लिया गया है जो शायद ही कभी एक्सेस किया जाता है। अंग्रेजी साहित्य में उन्हें "कोल्ड डेटा" कहा जाता है, और, अनुमान के मुताबिक, कुल भंडारण की मात्रा में कोल्ड डेटा की मात्रा 80% तक पहुंच सकती है। अर्थात्, संग्रहीत एप्लिकेशन डेटा का लगभग 80% अपेक्षाकृत कम ही एक्सेस किया जाता है। इसका मतलब यह है कि लगभग 80% पैसा हमने अभी भी बहुत महंगे SSDs पर खर्च किया और हमें कोई वास्तविक रिटर्न नहीं दिया।

एसएसडी पर जो ठंडा डेटा है, वह सस्ते एसएटीए पर भी झूठ बोल सकता है, वैसे भी वर्तमान में यह गतिहीन है। क्योंकि यह झूठ बोलता है और सुपर-महंगे एसएसडी पर जगह लेता है, एक पूरे के रूप में हमारी प्रणाली तेजी से काम नहीं करेगी, क्योंकि एसएसडी का लाभ डेटा तक पहुंचने के समय ही प्रकट होता है, और डेटा किसी भी डिस्क पर बस "झूठ" कर सकता है। लेकिन हम इस जगह को उन सक्रिय डेटा के लिए खो देते हैं, जिन्हें अगर SSD पर रखा जाता है, तो प्रदर्शन को बढ़ावा मिलेगा। कोल्ड डेटा क्लासिक हय डॉग है। और एसएसडी क्षमताओं का स्वयं उपयोग नहीं किया जाता है, और अन्य जो आवश्यकता में हैं उन्हें नहीं दिया जाता है।

क्या समस्या होगी? "ठंडे" डेटा को पहचानें, इसे अलग करें, और इसे एक अलग भंडारण में संग्रहीत करें।
लेकिन परेशानी यह है कि इन 80% में हर पल अलग-अलग डेटा गिरता है। अंतिम तिमाही के लिए पोस्टिंग पर डेटाबेस में डेटा, पूरी अगली तिमाही अछूता और "ठंडा" रहेगा, हालांकि, वार्षिक रिपोर्ट की तैयारी के दौरान वे फिर से बहुत "गर्म" हो जाएंगे।

यह बहुत अच्छा होगा यदि "स्टोरेज स्तर" के माध्यम से इस तरह के एक आंदोलन स्वचालित रूप से हुआ। लेकिन इस तरह की प्रणाली पूरे भंडारण वास्तुकला को बहुत जटिल करेगी। आखिरकार, संग्रहण प्रणाली को डेटा को न केवल जल्दी से जल्दी प्राप्त करना और प्रसारित करना होगा, बल्कि टुकड़े की गतिविधि का मूल्यांकन भी करना होगा, इसे किसी तरह से स्थानांतरित करना होगा, और यह भी याद रखना होगा कि ग्राहक के अनुरोध को "पुन: व्यवस्थित" करने के लिए टुकड़ा आज कहाँ स्थित है।

बहुत सारी कठिनाइयाँ, और सभी क्योंकि हमने गलत टूल को चुना। मैंने पहले ही एक बार इस मज़ेदार उपमा का हवाला दिया था, कि कैसे बोल्ट को नट में हथौड़ा मारना मुश्किल और मुश्किल है। इस कार्य को पूरा करने के लिए, आप तेजी से भारी हथौड़ा ले सकते हैं, या आप बस हथौड़ा को एक रिंच में बदल सकते हैं, और अपने इच्छित उद्देश्य के लिए बोल्ट का उपयोग कर सकते हैं। :)

फ्लैश को स्टोरेज के रूप में नहीं बल्कि मेमोरी के रूप में उपयोग करते हुए, नेटएप ने बहुत ही शिद्दत से कोल्ड डेटा समस्या को हल किया।

आप सभी, मुझे यकीन है, आधुनिक डेटा स्टोरेज सिस्टम में RAM कैश के सिद्धांतों के बारे में पता है।
कैश तेज रैम में एक मध्यवर्ती परिचालन डेटा भंडारण है।
यदि क्लाइंट स्टोरेज से डेटा के ब्लॉक का अनुरोध करता है, तो यह पढ़ा जाता है और इस तरह कैश में पहुंच जाता है।


यदि इस ब्लॉक को बाद में फिर से एक्सेस किया जाता है, तो इसे क्लाइंट को धीमी डिस्क से नहीं, बल्कि तेज़ कैश से वापस किया जाएगा। यदि यह ब्लॉक लंबे समय तक एक्सेस नहीं किया जाता है, तो यह स्वचालित रूप से कैश से बाहर हो जाएगा, और इसके स्थान पर अधिक लोकप्रिय ब्लॉक का उपयोग किया जाएगा।


इस प्रकार, हम देखते हैं कि कैश में डेटा हमेशा "परिभाषा के अनुसार" होता है, 100% गर्म डेटा!

अब कल्पना करें कि हम फ्लैश का उपयोग डिस्क के रूप में नहीं करते हैं, बल्कि एक मेमोरी के रूप में, "दूसरे स्तर के कैश", अतिरिक्त स्थान के रूप में करते हैं। आमतौर पर हमारे पास स्टोरेज सिस्टम में अपेक्षाकृत धीमा डिस्क स्थान होता है, और रैम रैम काफी महत्वपूर्ण होता है। काश, हम असीम रूप से RAM कैश का आकार नहीं बढ़ा सकते। यह कम से कम बहुत महंगा है। हालांकि, अगर हमारे पास एक काफी क्षमता है, हालांकि फ्लैश डीडीआर डीआरएएम मेमोरी के रूप में तेज़ नहीं है, तो हम इसे मौजूदा रैम कैश में "दूसरे स्तर के कैश" के रूप में डाल सकते हैं।

अब कैश तंत्र निम्नानुसार काम करता है: डेटा रैम कैश में गिरता है (आमतौर पर नियंत्रक के प्रकार और शक्ति के आधार पर इसका आकार 1 से 96 जीबी तक होता है), और तब तक होता है जब तक इसे अधिक प्रासंगिक डेटा द्वारा प्रतिस्थापित नहीं किया जाता है। रैम कैश से निचोड़ने के बाद, उन्हें हटा नहीं दिया जाता है, लेकिन फ्लैश कैश (आमतौर पर आकार, नियंत्रक की शक्ति, इसके प्रकार और संभावित मॉड्यूल की संख्या के आधार पर, 256GB से 4TB तक) पर स्थानांतरित किया जाता है। कैश्ड ब्लॉक तब तक स्थित होते हैं, जब तक वे "आउट ऑफ डेट" न हों, बदले में और वास्तविक डेटा द्वारा प्रतिस्थापित नहीं किए जाते हैं। और तभी पढ़ना डिस्क से जाएगा। लेकिन जब यह डेटा FlashCache में है, तो इसे पढ़ना डिस्क से लगभग 10 गुना तेज है!




* कृपया ध्यान दें कि चित्रों को FlashCache उपयोग गाइड से लिया गया है, और वहां इसे PAM - प्रदर्शन त्वरण मॉड्यूल कहा जाता है, यह इसका "पुराना" और "आंतरिक" नाम है, अर्थात, "PAM" "RAM" नहीं है।

FlashCache का उपयोग करने के परिणाम क्या हैं? व्यवहार में प्रभावशीलता का दावा कितना दिखाता है?
प्रदर्शन की तुलना करने के लिए, NetApp उद्योग-मानक और उद्योग द्वारा स्वीकार किए गए Specsfs बेंचमार्क का उपयोग करके एक परीक्षण कार्यक्रम में भाग ले रहा है। यह "नेटवर्क फ़ाइल सिस्टम" की एक परीक्षा है, अर्थात्, एनएफएस और सीआईएफएस प्रोटोकॉल का उपयोग करते हुए एनएएस, जिसके परिणाम अन्य कार्यों के लिए एक्सट्रपलेट करना आसान है।

224 एफसी डिस्क के साथ midrange मॉडल FAS3140 को संदर्भ प्रणाली के रूप में लिया गया था (ये प्रत्येक में 14 डिस्क के साथ 16 अलमारियां हैं, एफसी डिस्क का एक पूर्ण 48U-केस है!)।
यह कोई रहस्य नहीं है कि बहुत बार I / O, इसे कॉन्फ़िगर करते समय, बहुत सारे डिस्क डालने के लिए मजबूर किया जाता है (हम आमतौर पर "डिस्क स्पिंडल" - डिस्क स्पिंडल) का उपयोग करते हैं। और बहुत बार यह IOPS में प्रदर्शन है, और भंडारण क्षमता नहीं है, जो सिस्टम द्वारा उपयोग किए जाने वाले डिस्क की संख्या को निर्धारित करता है। इस तरह की प्रणाली में कई डिस्क उच्च गति इनपुट-आउटपुट सुनिश्चित करने के लिए एक आवश्यक उपाय हैं।

आप देख सकते हैं कि इस तरह की प्रणाली ने I / O प्रदर्शन के संदर्भ में Specsfs2008 CIFS 55476 Speckmark "तोते" को दिखाया।

अब एक ही सिस्टम लेते हैं, लेकिन अब FlashCache बोर्ड के अंदर, लेकिन इस बार समान FC डिस्क के केवल 56 (ये सिर्फ 4 डिस्क शेल्व्स हैं , डिस्क "स्पिंडल" से चार गुना छोटे हैं जो आमतौर पर IOPS प्रदर्शन निर्धारित करते हैं)
हम देखते हैं कि एक प्रणाली जो खड़ी है (कुल ड्राइव, अलमारियों, प्लस फ्लैश कैश) 54% सस्ता है, "तोते" में प्रदर्शन के समान स्तर के साथ, काफी कम स्तर की देरी हासिल की जाती है, और डिस्क की कम संख्या के कारण, ऊर्जा की खपत और सिस्टम द्वारा कब्जा कर लिया गया रैक स्थान।



लेकिन यह सब नहीं है। तीसरी प्रणाली में एफसी डिस्क के बजाय 96 एसएटीए डिस्क शामिल हैं , आमतौर पर IOPS में कम प्रदर्शन की विशेषता है, और फिर से FlashCache।
हम देखते हैं कि 1TB पर अपेक्षाकृत "धीमी" SATA के उपयोग के साथ भी, हमारी प्रणाली सभी समान प्रदर्शन संकेतक दिखाती है, जबकि FlashCache के बिना FC डिस्क पर सिस्टम की तुलना में 50% अधिक उपलब्ध क्षमता और 66% कम बिजली की खपत प्रदान करती है। देरी के स्तर के बराबर।

व्यावहारिक परिणाम इतना शक्तिशाली और आश्वस्त करने वाला है कि NetApp ने अपने ग्राहकों को FlashCache के रूप में फ्लैश की एक पेटाबाइट बेच दी, इस उत्पाद की घोषणा के ठीक छह महीने बाद, और, जहाँ तक मुझे पता है, बिक्री बढ़ना जारी है (NetApp आज भी दावा करता है कि वे दूसरे सबसे बड़े फ़्लैश विक्रेता हैं दुनिया में -Memory, Apple के बाद उनके iPod / iPad / iPhone के साथ)।

लेकिन FlashCache इतनी कुशलता से काम नहीं करेगा अगर यह (फिर से!) इसके नीचे WAFL संरचना की क्षमता नहीं है। याद रखें, WAFL के बारे में , और फिर नेटएप स्टोरेज सिस्टम के इन या उन "चिप्स" के बारे में, मैंने पहले ही कई बार दोहराया कि WAFL बहुत ही "नींव" है, जो सब कुछ NetApp कर सकता है।
इस मामले में "खेल" क्या था?

जो लोग उत्पादक अनुप्रयोगों में एसएसडी का उपयोग करने की संभावनाओं पर गंभीरता से और गहराई से लगे हुए हैं वे पहले से ही जानते हैं, एक तकनीक के रूप में फ्लैश की अत्यंत अप्रिय विशेषता - यादृच्छिक लेखन (यादृच्छिक लेखन) पर बहुत कम प्रदर्शन।
लगभग हमेशा, जब यह एसएसडी प्रदर्शन की बात आती है, तो निर्माता यादृच्छिक पढ़ने के शानदार परिणाम दिखाते हैं, हालांकि, वे लगभग हमेशा एक तरह से या किसी अन्य रूप में छोटे ब्लॉकों में यादृच्छिक लेखन प्रदर्शन के मुद्दे को दरकिनार करते हैं, और यह एक सामान्य वर्कलोड में, सभी कार्यों का लगभग 30% है।

यह लोकप्रिय उच्च प्रदर्शन वाले उद्यम-वर्ग एसएसडी फ्यूजनियो का आईओपीएस प्रदर्शन है


और यह IOPS में लोकप्रिय इंटेल X25M के लिए एक प्रदर्शन लेबल है, जो "साझेदारों के लिए" दस्तावेज में छिपा हुआ है। हाइलाइटेड और रेखांकित पर ध्यान दें।


इस तरह के "आश्चर्य" लगभग किसी भी एसएसडी, किसी भी निर्माता में पाए जाते हैं।
यह ब्लॉक में आयोजित फ्लैश सेल में लिखने की कठिन प्रक्रिया के कारण है। To (re) एक छोटा सा ब्लॉक भी लिखें, आपको पूरी तरह से मिटा देना चाहिए और फिर से पूरे फ़्लैश "पेज" को लिखना होगा। यह ऑपरेशन तेज और अपने आप में नहीं है, भले ही आप इन चक्रों की सीमाओं को ध्यान में न रखें।

इस मामले में WAFL "खेल" कैसे करता है?
तथ्य यह है कि नेटएप सिस्टम में जो WAFL का उपयोग करते हैं, जो "रिकॉर्डिंग के लिए अनुकूलित" है, और यदि अधिक विवरण में है, तो रिकॉर्ड, जैसा कि मैंने पहले ही कहा है, लंबी अनुक्रमिक "स्ट्रिप्स" में लिखे गए हैं, और इस तथ्य के कारण कि ऐसी योजना आपको रिकॉर्ड नहीं रखने देती है। कैश में, और उन्हें सीधे डिस्क में लिखने के लिए, इन डिस्क के लिए उच्चतम संभव गति पर, नेटएपी सिस्टम में कैश को व्यावहारिक रूप से लिखने के लिए उपयोग नहीं किया जाता है। तदनुसार, फ्लैशकैच का उपयोग रिकॉर्डिंग के लिए नहीं किया जाता है, एल्गोरिथम भाग को बहुत सरल किया जाता है, और कम फ्लैश लेखन प्रदर्शन के साथ समस्या हल हो जाती है। इस मामले में फ्लैश का उपयोग लिखने, रिकॉर्डिंग के लिए सीधे रैम बफर के माध्यम से नहीं किया जाता है, डिस्क पर जाएं, आपको बस उन्हें कैश में रखने की आवश्यकता नहीं है, अर्थात, हम फ्लैश का उपयोग केवल इसके साथ काम करने वाले सबसे कुशल मोड में करते हैं - यादृच्छिक रीड (कभी-कभी इसे नए के साथ भरना) डेटा, छोड़ने के बजाय अनुक्रमिक लेखन ऑपरेशन की मदद से, जो उसके द्वारा भी अच्छी तरह से अनुभव किया जाता है)।

इस प्रकार, यह देखना आसान है कि कैश के रूप में फ्लैश "मेमोरी के रूप में" का उपयोग करते हुए, हम स्वचालित रूप से इसमें केवल सक्रिय, हॉट डेटा संग्रहीत करते हैं, वह डेटा, जो उपयोग के वास्तविक लाभ के लिए पहुंच की गति को बढ़ाता है, और कम प्रदर्शन और परिमितता के साथ समस्याओं को समाप्त करता है। फ्लैश रिकॉर्ड संसाधन।
हां, FlashCache भी महंगा है। लेकिन आपको इस पर खर्च किए गए धन का उपयोग करने की गारंटी है, सब कुछ, न कि केवल 20%। और यह वही है जिसे नेटएपी "भंडारण दक्षता" कहता है।

आप Netwell की तकनीकी लाइब्रेरी में रूसी में FlashCache के बारे में अधिक पढ़ सकते हैं, जो आधिकारिक NetApp तकनीकी मैनुअल के रूसी में अनुवाद प्रकाशित करता है।

मेरे विचार में, इस पर "हार्ड ड्राइव" का अनुकरण करने की तुलना में फ्लैश मेमोरी का उपयोग एक अधिक कुशल और "प्रत्यक्ष" तरीके से करने का विचार, उद्योग में अधिक से अधिक फैल रहा है। इस क्षेत्र में शामिल लोगों में व्यावहारिक एडेप्टेक शामिल हैं, जिन्होंने ZFS में अपने MaxIQ, और CacheZilla को पेश किया, और Microsoft रिसर्च, जिसने फ्लैश मेमोरी (एक प्रस्तुति के रूप में संक्षिप्त अवलोकन) का उपयोग करते हुए एक दिलचस्प वैज्ञानिक पेपर स्पीडिंग अप क्लाउड / सर्वर एप्लिकेशन प्रकाशित किया।

लेख की शुरुआत में फोटो में FlashCache की स्थापना है (कुछ समय के लिए इसे PAM-II कहा जाता था - प्रदर्शन त्वरण मॉड्यूल, जेनरेशन 2, DRAM पर PAM-I भी था, और NASadadata को कैश करने के लिए इस्तेमाल किया गया था)