क्लाउड में अपना डेटा स्टोर करते समय आपको क्या सोचना चाहिए। भाग २

संक्षेप में, हम इस तथ्य के बारे में बात कर रहे हैं कि कई बादलों पर डेटा संग्रहीत करके, आप उनकी उपलब्धता और सुरक्षा को काफी बढ़ा सकते हैं। सुरक्षा से हमारा मतलब है कि डेटा मौजूद होगा भले ही एक प्रदाता (या कई) को एक गंभीर समस्या हो। पहले भाग में विस्तृत प्रेरणा।




इस लेख में, मैं निरर्थक डेटा बनाने के लिए कौन सी विधि का उपयोग करना बेहतर है, इसके बारे में सैद्धांतिक भाग का विश्लेषण करना चाहता हूं। और व्यावहारिक हिस्सा वह है जो आप इस समय उपयोग कर सकते हैं। निराशा से बचने के लिए, मैं जो कुछ लिख रहा हूं वह अपेक्षाकृत हालिया वैज्ञानिक विकास है, इसलिए व्यावहारिक हिस्सा खराब होगा। लेकिन मैं उन लोगों का ध्यान आकर्षित करने की उम्मीद करता हूं जो इस तरह के कार्य के लिए एक कार्यक्रम विकसित करना चाहते हैं।

मैं तुरंत पीछे हटना चाहता हूं। मैं लेख में जानबूझकर अंग्रेजी शब्द इरेज़र कोड का उपयोग करता हूं - मुझे यह शब्द रूसी में नहीं मिला। ये किसी भी तरह से कोड को सही करने में त्रुटि नहीं हैं। यदि कोई जानता है और बताता है, तो मैं आभारी रहूंगा।

सिद्धांत

कोड

सौभाग्य से, एक अलग दृष्टिकोण है जो आपको डेटा उपलब्धता के स्तर को कम करने के बिना, कब्जे वाले डिस्क स्थान और यातायात पर दोनों को बचाने की अनुमति देता है। ये इरेज़र कोड हैं ।

मिटा कोड का सार यह है कि एक निश्चित फ़ाइल को एन्कोडिंग के बाद, एन टुकड़े प्राप्त होते हैं (व्यावहारिक कार्यान्वयन में, ये भी फाइलें हैं)। इनमें से कोई भी अंश मूल फ़ाइल के आकार के बराबर है। इसके अलावा, एन> एम । प्रत्येक टुकड़े को एक अलग क्लाउड स्टोरेज में संग्रहीत किया जाता है। मूल फ़ाइल को पुनर्स्थापित करने के लिए, बस किसी भी एम टुकड़े को इकट्ठा करें और डीकोड करें। शेष एनएम के टुकड़े को नष्ट किया जा सकता है, क्षतिग्रस्त किया जा सकता है, उनके क्लाउड स्टोरेज युक्त उपलब्ध नहीं हैं, आदि। इस प्रकार, erasure कोड का उपयोग करने वाला सिस्टम n - m त्रुटियों की घटना को संभाल सकता है।



जो लोग गहरी खुदाई करना चाहते हैं, उनके लिए मैं एमडीएस इरेज़र कोड का वर्णन करता हूं। अन्य प्रकार के कोड हैं और उनके पास थोड़ा अलग गुण हैं। यदि रुचि है, तो मैं इसे सभी गणित के साथ विस्तार से वर्णन कर सकता हूं।

यह दृष्टिकोण बेहतर क्यों है

निरर्थक डेटा का आकार

N और m के अनुपात को चुना जा सकता है। उदाहरण के लिए, आप पैरामीटर सेट कर सकते हैं ताकि n = 2 * m , जिस स्थिति में एन्कोडेड डेटा का आकार मूल से ठीक दो गुना हो। उदाहरण के लिए, m = 5, n = 10 । फिर कोडिंग के बाद के टुकड़ों को 10 टुकड़े मिलते हैं। एक टुकड़े का आकार फ़ाइल के आकार के अनुपात से मीटर के बराबर होगा। यदि आप इनमें से 5 टुकड़े एकत्र करते हैं और कुल आकार की गणना करते हैं, तो यह मूल फ़ाइल के आकार के बराबर होगा। प्रत्येक टुकड़े को 10 क्लाउड स्टोरेज में से एक पर संग्रहीत किया जाता है। उसी समय, कोई भी 5 स्टोरेज एक समय पर अनुपलब्ध हो सकते हैं, यह उपयोगकर्ता डेटा की उपलब्धता को प्रभावित नहीं करेगा - फ़ाइल को पुनर्स्थापित किया जा सकता है।

गणितीय संकेतन में, यह ऐसा दिखता है। मान लीजिए कि फ़ाइल का आकार L है । फिर एक टुकड़े का आकार p = L / m है , निरर्थक डेटा का कुल आकार 2 * L है। बहाली के लिए आवश्यक सभी टुकड़ों का आकार एल = पी * एम है ।

प्रतिकृति के साथ तुलना करें। ऐसी प्रणाली के लिए जिसमें कोई 5 क्लाउड स्टोरेज विफल हो सकते हैं, आपके पास 6 क्लाउड स्टोरेज होने चाहिए, जिनमें से प्रत्येक फ़ाइल की एक प्रति संग्रहीत करता है। इस स्थिति में, सिस्टम में संग्रहीत डेटा का आकार फ़ाइल के आकार का 6 गुना होगा। इरेज़र कोड का उपयोग करते समय - आपको मूल फ़ाइल के आकार से दो बार अनावश्यक डेटा को बचाने की आवश्यकता होगी।

इस प्रकार, एक ऐसी प्रणाली जो इरेज़र कोड का उपयोग करते समय त्रुटियों की एक निश्चित संख्या के उद्भव को जीवित करने में सक्षम है:

• प्रत्येक सर्वर पर आपको कम डेटा संग्रहीत करने की आवश्यकता होती है
• सहेजे जाने वाले डेटा का कुल आकार काफी कम होगा
• कुल क्लाउड स्टोरेज की अधिक आवश्यकता है

आखिरी पैराग्राफ पहले दो के गुणों को पछाड़ सकता है, या शायद नहीं। यह सब विशिष्ट स्थिति पर निर्भर करता है। इसके बारे में, यदि आप कोई रुचि रखते हैं, तो आप टिप्पणियों में बहस कर सकते हैं।

यातायात

वैसे यह स्पष्ट है। यदि सहेजे जाने वाले डेटा की मात्रा कम है, तो बचत पर खर्च किए गए ट्रैफ़िक की मात्रा आनुपातिक रूप से कम होगी। प्लस इरेज़र कोड की ओर। किसी भी मामले में बहाल करते समय - चाहे प्रतिकृति या मिटा कोड का उपयोग किया जाता है, स्थानांतरित किए जाने वाले डेटा का आकार मूल फ़ाइल के आकार के बराबर होगा, उन एल।

समय कोडिंग में बिताया

जाहिर है, प्रतिकृति कोडिंग की आवश्यकता नहीं है। कोड का उपयोग कितना धीमा है? ऐसे कई बेहतरीन परीक्षण हैं। 512 मेगाबाइट फ़ाइल को एनकोड करने के लिए मुझे औसतन 4 सेकंड से भी कम समय लगा (मैंने 1000 बार परीक्षण दोहराया)। विन्यास इस प्रकार था - 3 गीगाबाइट रैम, 3 गीगाहर्ट्ज इंटेल कोर 2 डुओ प्रोसेसर वाला कंप्यूटर। ऑपरेटिंग सिस्टम - 11.10 उबंटू। एक कोडेक के रूप में, मैंने प्रसिद्ध जेरेसुर लाइब्रेरी का उपयोग किया, जिसका वर्तमान संस्करण जीथब पर है।

परिणाम

त्रुटि कोड:

• आपको एक अलग सर्वर पर और सभी संयुक्त पर, अनावश्यक डेटा के कब्जे में डिस्क स्थान को बचाने की अनुमति देता है
• समान उपलब्धता स्तर को प्रतिकृति का उपयोग करने की तुलना में अधिक सर्वरों की आवश्यकता होती है।
• वे सर्वर पर डेटा सहेजे जाने पर आउटगोइंग ट्रैफ़िक को सहेजने की अनुमति देते हैं (जो बैकअप के दौरान सबसे अधिक बार होता है)
• उपयोगकर्ता समय कोडिंग डेटा खर्च करते हैं
• फिर भी, विशेष रूप से नेटवर्क पर डेटा ट्रांसफर दर की तुलना में कोडिंग दर काफी अधिक है

अभ्यास

वास्तव में, मैंने इस विषय में तल्लीन करना शुरू कर दिया क्योंकि मैं अपने डेटा को सहेजना चाहता हूं ताकि उनकी सुरक्षा और उपलब्धता की गारंटी न केवल प्रदाताओं के बयान से हो। तदनुसार, वर्तमान स्थिति को बेहतर बनाने का सबसे आसान तरीका यह है कि डेटा के कम से कम एक कॉपी को अपने क्लाउड स्टोरेज में से एक पर संग्रहीत कॉपी के अलावा रखा जाए। या लोकल कॉपी के अलावा एक और कॉपी।

अगर आप उलझना चाहते हैं। इस दृष्टिकोण के कई युवा कार्यान्वयन हैं जो आप के साथ खेल सकते हैं। खेलने से ज्यादा, मैं दो कारणों से नहीं करूंगा। सबसे पहले, वे वास्तव में बहुत युवा हैं, और मेरा डेटा मेरे लिए एक महत्वपूर्ण बात है। दूसरा अच्छा कारण यह है कि सभी परियोजनाओं के लिए, उनकी गोपनीयता के संदर्भ में डेटा सुरक्षा का हिस्सा लंगड़ा है। मैंने इसके बारे में तीसरे भाग में लिखने का वादा किया था।

अब तक मैं आपके ध्यान खिलौनों को प्रस्तुत करता हूं:

• NCCloud
• NubiSave

NCCloud नवीनतम कोड - पुनर्योजी कोड का उपयोग करता है। इन कोड का उपयोग करने के लिए मुख्य बहाना इस घटना में ट्रैफ़िक को कम करना है कि एक या अधिक बादलों में त्रुटियां हैं और आपका डेटा अप्राप्य-दूषित है। इसी समय, इस तरह के कोड से डेटा को पुनर्प्राप्त करने की क्षमता कम हो जाती है (इस लेख में चर्चा किए गए लोगों की तुलना में, समान स्तर की पहुंच के साथ)। मैं मूल रूप से इस दृष्टिकोण से असहमत हूं। इसका कारण सरल है। इस तरह के कोड एक महत्वपूर्ण भूमिका निभाते हैं यदि डेटा को पी 2 पी नेटवर्क में संग्रहीत किया जाता है, जहां नेटवर्क नोड दिखाई देते हैं और गायब हो जाते हैं। बादलों का उपयोग करने के मामले में, प्रत्येक बादल की उपलब्धता बहुत अधिक है और त्रुटियां, समस्याएं शायद ही कभी होती हैं। तदनुसार, डेटा रिकवरी प्रक्रिया शायद ही कभी होगी। इस प्रक्रिया के दौरान यातायात पर बचत, इसकी प्रभावशीलता को खराब करते हुए, मुझे उचित नहीं लगता है।

NubiSave अनावश्यक डेटा बनाने के लिए रीड-सोलोमन कॉची कोड का उपयोग करता है। डेटा एन्कोडिंग चरणों में होता है, अर्थात्, उस समय जब डेटा का एक ब्लॉक एन्कोड किया जाता है, तो पिछले एक को पहले से ही क्लाउड स्टोरेज पर अपलोड किया जाता है। यह उपयोगकर्ता के लिए प्रतीक्षा समय कम कर देता है। उनकी वास्तुकला का सकारात्मक पहलू यह है कि आप लचीले ढंग से डेटा प्रसंस्करण को कॉन्फ़िगर कर सकते हैं - चाहे वह एन्क्रिप्ट या संपीड़ित हो। एक गंभीर दोष एन्क्रिप्शन और गोपनीयता का कार्यान्वयन है क्योंकि एक पूरे को अभी तक नहीं सोचा गया है (मैं दोहराता हूं, इस लेख के दूसरे भाग में अधिक)।

वैसे, कुछ क्लाउड प्रदाता पहले से ही इरेज़र कोड का उपयोग करते हैं। उदाहरण के लिए, वुल्ला से एक प्रचलित समाधान ।