ओपनस्टैक स्विफ्ट। सभी तीन प्रतियां समान रूप से उपयोगी नहीं हैं।

3-10 Pbytes (3000-10000 हार्ड ड्राइव वाले) के लिए स्टोरेज को डिजाइन करने के प्रयास ने ओपनस्टैक स्विफ्ट के डिजाइन में एक दोष प्रदर्शित किया। जैसा कि यह निकला, ओपनस्टैक स्विफ्ट (संभवतः अन्य समान सिस्टम) उपकरण के अंतहीन और बेकार उपयोग को स्केल नहीं करता है। बड़ी संख्या में डिस्क (3000 से अधिक) का उपयोग करते समय, डेटा हानि लगभग अपरिहार्य है।

ओपनस्टैक के लोग 3 प्रतियाँ (डिफ़ॉल्ट रूप से) बनाने की पेशकश करते हैं। यह आंकड़ा कहां से आता है? 2, 4 या 5 क्यों नहीं: वे विश्वसनीयता की गणना के लिए कोई पद्धति प्रदान नहीं करते हैं।

3 प्रतियों का विचार कहां से आया

सामान्य स्थिति में (3-2-1 नियम), निम्नलिखित परिस्थितियों को देखते हुए 3 प्रतियों का उपयोग किया जाता है:
1. पहली प्रति (काम) उच्च प्रदर्शन के साथ लोहे पर बनाया गया है। यह मुख्य भंडार है। अधिकांश ऑपरेशन कार्यशील प्रतिलिपि में हैं।
2. दूसरी प्रति भौगोलिक रूप से पहली से अलग है। लोहा इतना उत्पादक नहीं है। डेटा को एसिंक्रोनस रूप से दोहराया जाता है। मुख्य भंडारण की विफलता के मामले में, दूसरी प्रति लोड पर ले जाती है।
3. तीसरी प्रति बेवकूफ त्रुटियों से बचाता है (यह अन्य प्रशासकों द्वारा किया जाना चाहिए, पहले 2 प्रतियों से उत्कृष्ट सॉफ़्टवेयर और हार्डवेयर का उपयोग करें)।
यही है, सिद्धांत "एक टोकरी में सभी अंडे मत डालो" पूरा हो गया है।

स्विफ्ट के मामले में - सभी डेटा एक ही स्थान पर हैं, एक ही सॉफ्टवेयर का उपयोग किया जाता है। फिर भी, जोर को 3 प्रतियों पर रखा गया है (वे एक अलग मात्रा के साथ वेरिएंट का परीक्षण नहीं करते थे)।

विरोधाभास कॉपी करें

यदि हमारे पास स्टोरेज (रिडंडेंसी 200%) में 3 प्रतियां हैं, तो इसका मतलब है कि आप 2 डिस्क खो सकते हैं - जबकि डेटा को सहेजने की गारंटी है। कम संख्या में डिस्क के मामले में, यह एकमात्र संभव निर्माण योजना है। लेकिन बड़ी संख्या में ड्राइव के लिए इसे वितरित करना संसाधनों की बेवकूफी है। सरल नकल की तुलना में अधिक उन्नत तरीकों (त्रुटि सुधार) का उपयोग किया जाना चाहिए।

डबल पैरिटी स्कीम (RAID6) 2 ड्राइव को मौत से बचाता है, जबकि अतिरेक 20-40% की सीमा में है। अन्य भंडारण अतिरेक एल्गोरिदम हैं, लेकिन किसी कारण से ओपनस्टैक उनका उपयोग नहीं करता है।

मान लीजिए कि स्टोरेज में 3,000 डिस्क हैं। Google के आंकड़ों के अनुसार, संचालन के वर्ष में 1-5% ड्राइव विफल हो जाएंगे। एक ही समय में 3 ड्राइव की विफलता की घटना आम हो जाती है, और एक वर्ष में कई बार होना चाहिए (3-6 बार, मैं गणनाओं को छोड़ देता हूं)। यदि सभी प्रतियां दुर्घटना से डिस्क में बिखरी हुई हैं, जैसा कि स्विफ्ट में किया गया है, तो निश्चित रूप से एक फाइल तीन मृत डिस्क में समाप्त हो जाएगी।

प्रतियों की संख्या बढ़ाना बेतुका लगता है। 300%? 400%?

CleverSafe

इस कंपनी ने स्टोरेज के निर्माण के लिए अधिक सोच-समझकर संपर्क किया, और विश्वसनीय भंडारण के लिए रीड-सोलोमन कोड का उपयोग करके 10EB के रूप में एक परियोजना प्रदान करता है। उनकी अतिरेक 35% है - और यह 4,500,000 ड्राइव के साथ है!

सूखे अवशेषों में

- ओपनस्टैक बड़े शब्द "क्लाउड" और "रैकस्पेस और नासा" के समर्थन के माध्यम से खोलना करने की कोशिश कर रहा है। अन्य प्रसिद्ध कंपनियां इस परियोजना में शामिल हो रही हैं। हालाँकि यह इतना रसभरा नहीं हो सकता। इस समय कोई अनंत स्केलेबिलिटी नहीं है।
- भंडारण प्रदर्शन को बढ़ाने के लिए तीन या अधिक प्रतियों का उपयोग किया जा सकता है। इसलिए फेसबुक HDFS और 30 pb स्टोरेज का उपयोग करता है। हालांकि, खोए हुए डेटा के बारे में जानकारी की घोषणा कौन करेगा?!
- क्लेवरसेफ़ का कहना है कि उनका जीपीएल कोड (4 साल पहले) है। शायद किसी के पास स्रोत कोड है?

अंग्रेजी में मेरे लेख में अधिक विस्तृत गणना।