द्रव डेटा: "बड़ा" डेटा संग्रहीत करने में "छोटी" जीत

खोजों की एक अद्भुत राशि लोगों को प्रकृति बनाने में मदद करती है। ड्रैगनफ्लाई की उड़ान ने विमान डिजाइनरों को प्रेरित किया, पर्णपाती पेड़ों के मुकुट - सौर कोशिकाओं के निर्माता। और पानी, एक अनोखा पदार्थ, डेल इंजीनियरों ने फ्लुइड डेटा नामक डेल कम्पेलिटरी स्टोरेज सिस्टम के लिए एक पूरी तरह से नई तकनीक बनाने के लिए प्रेरित किया।

अधिकांश भंडारण प्रणालियों के साथ मुख्य समस्या नई नहीं है - वॉल्यूम-स्तर डेटा प्रबंधन। यह दृष्टिकोण शुरू में न केवल लचीलेपन, बल्कि परिसर के प्रदर्शन को भी सीमित करता है। तुरंत एक आरक्षण करें कि यद्यपि समस्या मुख्य है, यह केवल किसी एक के द्वारा नहीं है। हालाँकि, पहले चीजें पहले।

संचालन का सिद्धांत

वेबमास्टर्स के बीच एक मजाक है: “हम सब कुछ जल्दी से, कुशलता से, सस्ते में करेंगे। कोई भी दो अंक चुनें। ” कुछ समय पहले तक यह डेटा स्टोरेज सिस्टम के लिए कुछ हद तक सही था। यदि जानकारी को त्वरित पहुंच की आवश्यकता है, तो इसे एसएसडी पर संग्रहीत किया जाना चाहिए। लेकिन उनकी अकिलीज़ की एड़ी अपेक्षाकृत कम क्षमता वाली उच्च लागत वाली थी। दूसरी ओर, पारंपरिक समाधानों के विपरीत लाभ थे: कम कीमत और उच्च मात्रा। हां, एसएसडी की तुलना में केवल एक्सेस स्पीड के साथ एक आपदा थी। डेल कम्प्रेसर स्टोरेज सिस्टम के विकास में एक तार्किक विकासवादी कदम था, जो दोनों दृष्टिकोणों को मिलाकर द्रव डेटा की नई गतिशील वास्तुकला के लिए धन्यवाद था। सक्रिय मोड में उत्तरार्द्ध समझदारी से वॉल्यूम स्तर पर नहीं, बल्कि ब्लॉक स्तर पर डेटा का प्रबंधन करता है। उनमें से प्रत्येक के बारे में विभिन्न प्रकार की जानकारी लगातार मक्खी पर एकत्र की जाती है और इसका उपयोग गतिशील भंडारण, प्रवासन और डेटा रिकवरी के कार्यों को संचालित करने के लिए किया जाता है। इस डेटा को इकट्ठा करने से सिस्टम पर न्यूनतम अतिरिक्त भार पैदा होता है और आपको इसकी विशेषताओं के बारे में विस्तृत जानकारी प्राप्त करने की अनुमति मिलती है जैसे संग्रहीत डेटा और उपयोग किए गए डिस्क, RAID स्तर, रिकॉर्डिंग समय, डेटा एक्सेस की आवृत्ति आदि। लाभ स्पष्ट है: जानकारी लगातार उपलब्ध है और संरक्षित है, अनुप्रयोगों को बहुत तेजी से तैनात किया जाता है, और नई प्रौद्योगिकियों को जल्दी से समर्थन दिया जाता है। लेकिन देखते हैं कि यह कैसे काम करता है।

डेल इंजीनियरों ने भंडारण के खिलाफ लड़ने का फैसला किया, जो वॉल्यूम बनाते समय डिस्क स्थान की बर्बादी थी। परंपरागत रूप से, प्रशासक गणना करते हैं कि किसी विशेष अनुप्रयोग को कितनी क्षमता की आवश्यकता होगी, तो वे इसे "बस के मामले में" फेंक देते हैं और अंततः एक पूर्व निर्धारित अतिरिक्त मात्रा के साथ एक वॉल्यूम बनाते हैं। सामान्य तौर पर, दृष्टिकोण सही है, लेकिन समस्या अप्रयुक्त क्षमता के पुनर्वितरण की असंभवता है। यही है, अगर आपने गीगाबाइट में एक वॉल्यूम बनाया है, तो यह सभी गीगाबाइट केवल एक आवेदन के लिए उपलब्ध होगा, जबकि अन्य "नाक के साथ बने रहेंगे।" अक्सर व्यवहार में, अनुप्रयोग उन्हें आवंटित क्षमता के आधे से भी कम का उपयोग करते हैं, और परिणामस्वरूप, कॉर्पोरेट स्टोरेज में "जमे हुए" स्थान के स्टॉक बनते हैं, जिसके लिए पैसा बर्बाद किया गया था। फिर भी, पुनर्बीमा के लिए, कई कंपनियां अभी भी ऐसा कदम उठा रही हैं।

क्या यह अच्छा है? शायद ही। प्रशासकों को मूल रूप से आवश्यकता से अधिक क्षमता खरीदने के लिए मजबूर किया जाता है। उसी समय, कुछ समय बाद, जब क्षमता का उपयोग किया जाता है, तो उन्हें नए डिस्क खरीदने होंगे, इस वजह से, भंडारण में अतिरिक्त रैक स्थापित करना आवश्यक हो सकता है। और यह ऊर्जा की आपूर्ति, शीतलन और बढ़ते "ब्रेनचाइल्ड" के प्रबंधन का उल्लेख नहीं है।

इन समस्याओं को हल करने के लिए, डेल कम्पेलिट डायनेमिक क्षमता सॉफ्टवेयर का उपयोग करता है, जो संसाधनों के आवंटन को उनके उपयोग से पूरी तरह से अलग करता है। फ़ंक्शन को ही थिन प्रोविजनिंग कहा जाता है। इसका सार इस तथ्य में निहित है कि सिस्टम को स्थापित करने के तुरंत बाद, व्यवस्थापक किसी भी आकार की एक आभासी मात्रा आवंटित कर सकते हैं, लेकिन भौतिक क्षमता का उपयोग केवल तब किया जाता है जब डेटा डिस्क पर लिखा जाता है। इसका मतलब यह है कि अब ग्राहक उतनी ही क्षमता खरीद सकते हैं जितनी कि उन्हें आज डेटा स्टोर करने की आवश्यकता है, और फिर (यदि आवश्यक हो) धीरे-धीरे इसे खरीदें जैसे कि व्यवसाय बढ़ता है। ज्यादातर मामलों में, थिन प्रोविजनिंग का उपयोग करके, कंपनियां पारंपरिक विकास प्रावधान की तुलना में 40 से 60 प्रतिशत डिस्क स्थान बचा सकती हैं। और थिन आयात सुविधा के साथ, आप उन वॉल्यूम की अप्रयुक्त क्षमता को भी मुक्त कर सकते हैं जो विरासत भंडारण प्रणालियों पर बनाए गए थे।



इसलिए, जब हमने अंतरिक्ष के कुशल वितरण का पता लगाया, तो उसके बारे में कुछ शब्द कहने का समय आ गया था।

आभासी खुशियाँ

ब्लॉक-स्तरीय डेटा प्रबंधन, डिस्क-स्तर के भंडारण को वर्चुअलाइज़ करने के लिए डेल कम्पेलिटि सिस्टम को सक्षम बनाता है, जो सिस्टम फ्लेक्सिबिलिटी को बेहतर बनाता है। व्यवस्थापकों को अब विशिष्ट सर्वर के बीच विशिष्ट डिस्क वितरित करने की आवश्यकता नहीं है - इसके बजाय, एक सामान्य संसाधन पूल बनाया जाता है जो सिस्टम में सभी डिस्क को फैलाता है। सर्वर केवल भंडारण क्षमता, डिस्क प्रकार, RAID स्तर या सर्वर कनेक्शन की परवाह किए बिना उपलब्ध संसाधनों को "देखते हैं"। इस प्रकार, किसी भी समय सभी भंडारण संसाधन सभी सर्वरों के लिए उपलब्ध हैं। एक सुविधा प्रणाली की क्षमता है जो स्वचालित रूप से वॉल्यूम का विस्तार करती है यदि आवेदन में पर्याप्त क्षमता नहीं है।

इस आर्किटेक्चर के साथ, रीड / राइट ऑपरेशन सभी ड्राइव्स पर वितरित किए जाते हैं, इसलिए आप समानांतर में कई I / O अनुरोधों को प्रोसेस कर सकते हैं। नतीजतन, पारंपरिक भंडारण प्रणालियों की अड़चनें समाप्त हो जाती हैं। जैसा कि क्षमता को पूल में जोड़ा जाता है, डेटा सभी उपलब्ध डिस्क पर स्वचालित रूप से पुनर्वितरित हो जाता है और व्यवस्थापक को मैन्युअल रूप से लोड संतुलन और प्रदर्शन ट्यूनिंग से निपटने की आवश्यकता नहीं होती है।



स्टोरेज वर्चुअलाइजेशन सर्वर वर्चुअलाइजेशन को लागू करने के प्रभाव में बहुत सुधार करता है - उपयोगकर्ता किसी भी सर्वर प्लेटफॉर्म का समर्थन करने के लिए सैकड़ों वर्चुअल वॉल्यूम जल्दी से बना सकते हैं।

डेटा प्रवाह

मिठाई के लिए, हमेशा की तरह, यह सबसे "स्वादिष्ट" छोड़ने का निर्णय लिया गया, अर्थात् गतिशील वर्गीकरण और डेटा माइग्रेशन की तकनीक। हम मानते हैं कि हमने पहले ही सीखा है कि डेटा को प्रभावी रूप से कैसे संग्रहीत किया जाए। अगला कदम इस डेटा तक पहुंच को कम कुशलता से व्यवस्थित करना है। समस्या के सार को समझने के लिए, निम्नलिखित सादृश्य पर विचार करें।

याद रखें कि अपार्टमेंट में आप कहाँ मोज़े स्टोर करते हैं? निश्चित रूप से कहीं आस-पास: एक कोठरी में, दराज या बस दृष्टि के भीतर फर्श पर बिखरे हुए। अब याद रखें, समुद्र तट की छतरी या हवाई गद्दा कहां है? बालकनी पर, मेजेनाइन पर? अंत में, अंतिम सवाल: आप इन चीजों को दूसरे तरीके से स्टोर क्यों नहीं करते? उत्तर स्पष्ट है। सॉक्स का उपयोग अक्सर अधिक किया जाता है, जिसका अर्थ है कि उन तक पहुंच यथासंभव सुविधाजनक और तेज होनी चाहिए। डायनेमिक वर्गीकरण और डेटा माइग्रेशन तकनीक एक ही सिद्धांत का उपयोग करता है।



नए डेटा एसएएस / एफसी 15K डिस्क को पहले टियर 1 स्टोरेज स्तर पर लिखा जाता है। फिर, पहुंच आवृत्ति का विश्लेषण किया जाता है और, जैसा कि यह घटता है, कम सक्रिय डेटा ब्लॉक एफसी या एसएएस दूसरे भंडारण स्तर के माइग्रेट पर चले जाते हैं। कुछ समय बाद, लंबे समय तक एक्सेस नहीं किए जाने वाले डेटा को तीसरे स्टोरेज स्तर पर उच्च क्षमता वाले एसएएस या एसएटीए डिस्क में स्थानांतरित कर दिया जाता है। इसके अतिरिक्त, प्रत्येक स्तर पर विभिन्न प्रकार के RAID का उपयोग किया जाता है, और डेटा गतिशील रूप से उनके अंदर स्तर पर ले जाया जाता है (उदाहरण के लिए, RAID10 से RAID5 के लिए)।



इसके अलावा, पहुंच की गति बढ़ाने के लिए, प्रत्येक डिस्क के बाहरी क्षेत्रों पर सबसे सक्रिय डेटा संग्रहीत किया जाता है। सिस्टम लॉजिक दोनों तरह से काम करता है। यही है, यदि निष्क्रिय डेटा के लिए कई कॉल किए जाते हैं, तो वे उच्च स्तर पर चले जाते हैं। व्यवस्थापक केवल अपनी कंपनी के विशिष्ट कार्यों के अनुसार स्तरों के बीच बढ़ने के लिए एल्गोरिथ्म को समायोजित करते हैं या कारखाने के डिफ़ॉल्ट मूल्यों का उपयोग करते हैं।

जारी रखा जाए

बेशक, ये फ्लुइड डेटा के सभी लाभों और क्षमताओं से दूर हैं। एक अलग कहानी दूरस्थ साइटों के डेटा, सुरक्षा और पुनर्प्राप्ति की सुविधाओं, प्लेटफ़ॉर्म की मापनीयता और यहां तक ​​कि इंटरफ़ेस की प्रतिकृति है। लेकिन अगर आप इस सब को एक लेख में धकेलने की कोशिश करते हैं, तो एक तरफ हम इस तरह की सामग्री की मात्रा के साथ सम्मानित हाब्रोव्स्क नागरिकों को भयभीत करने का जोखिम उठाते हैं, या एक विश्वकोश का निर्माण करते हैं जिसमें "सब कुछ, लेकिन थोड़ा सा।" सौभाग्य से, हम दो विकल्पों में से एक को चुनने के लिए बाध्य नहीं हैं, और इसलिए, द्रव डेटा के मामले में, हम अपने स्वयं के साथ आएंगे, प्रौद्योगिकी के बारे में कहानी को दो भागों में तोड़ देंगे। जारी रखने के लिए ...