सारांश : पोस्ट इस बारे में बात करता है कि क्लाउड में क्या स्नैपशॉट हैं, उनका उपयोग कैसे किया जाए, और उन्हें कैसे व्यवस्थित किया जाए।

इस वर्ष दिखाई देने वाले क्लाउड में सबसे खास नई विशेषताओं में से एक स्नैपशॉट है। हम जो कुछ भी करते हैं उसे तीन श्रेणियों में विभाजित किया जाता है - जो हमारे लिए उपयोगी है (बिलिंग, सेवा उपयोगिताओं, आदि), ग्राहकों के लिए क्या उपयोगी है, लेकिन दृष्टिगत रूप से ध्यान देने योग्य नहीं है (उदाहरण के लिए, भंडारण प्रणाली, एक हाइपरविजर के बदलते संस्करण जो पहले ही लॉन्च किए जा चुके हैं। सर्वर), और जो ग्राहकों के लिए उपयोगी है और नेत्रहीन ध्यान देने योग्य है - और यहां केवल इस तृतीय श्रेणी से स्नैपशॉट हैं)।

मैं चेतावनी देना चाहता हूं कि लेख बहुत जटिल होगा। मैं आपको पहले सरल चीजों के बारे में बताऊंगा - इसके साथ कैसे काम करना है और इसका उपयोग क्या है, और फिर मैं बताऊंगा कि यह अंदर कैसे काम करता है। और अगर, मुझे आशा है, हम "उपयोगकर्ता" स्तर पर सुविधा और स्पष्टता के साथ प्रबंधित करते हैं, तो यहां डिवाइस का वर्णन है ... इसलिए बोलने के लिए, साहस करें या छोड़ें।

स्नैपशॉट का उपयोग कैसे करें?

स्नैपशॉट का सबसे विशिष्ट अनुप्रयोग मशीन के कॉन्फ़िगरेशन में त्रुटि के मामले में बैकअप प्रतियां बनाना है। मैं आपको तुरंत चेतावनी देना चाहता हूं, यह महत्वपूर्ण है: स्नैपशॉट्स को डिस्क के रूप में एक ही स्थान पर संग्रहीत किया जाता है। इसका मतलब यह है कि अगर कोई उल्कापिंड हम पर गिरता है या संघीय महत्व की एक और प्राकृतिक आपदा आती है, तो स्नैपशॉट्स डिस्क के साथ एक साथ खो जाएंगे, अर्थात, पूर्ण बैकअप के लिए, आपको दूसरे, भौगोलिक रूप से दूरस्थ, भंडारण स्थान का उपयोग करना चाहिए। हम बिल्कुल क्लाइंट ड्राइव्स को खोने या सर्वर पर प्राकृतिक आपदाओं की अनुमति देने की योजना नहीं बनाते हैं, लेकिन मुझे अभी भी चेतावनी देना है।

स्नैपशॉट किसी भी समय, मशीन पर या बंद किया जा सकता है। जब स्नैपशॉट निष्पादित किए जाते हैं, तो मशीन की डिस्क गतिविधि थोड़ी रुक जाती है (हम एक दूसरे के आदेश पर कुछ के बारे में बात कर रहे हैं), जिसके बाद यह जारी है "जैसे कि कुछ भी नहीं हुआ था"। स्नैपशॉट बनाने के दो तरीके हैं: वर्चुअल मशीन वाले पृष्ठ पर डिस्क के गुणों में (वहाँ एक बटन "पिछले स्नैपशॉट पर वापस रोल करें") और डिस्क के साथ पृष्ठ पर स्नैपशॉट की सूची में है। डिस्क के सभी स्नैपशॉट की एक सूची है। ध्यान दें कि वर्चुअल मशीन के लिए, हम आमतौर पर स्थापना के दौरान स्नैपशॉट बनाने का अवसर नहीं देते हैं। विशेष रूप से डाइविंग चौकस ग्राहकों को लग सकता है कि ड्राइव पेज पर "स्नैपशॉट बनाएं" बटन अभी भी सक्रिय है (और काम करता है)। इस तरह के स्नैपशॉट में दिलचस्प (अर्ध-स्थापित लिनक्स को छोड़कर) कुछ भी नहीं होगा, लेकिन हमने फैसला किया कि हम लोगों को पैर में गोली मारने का मौका नहीं देंगे जो वे अपनी मशीनों के साथ चाहते हैं।

इसलिए, निर्मित स्नैपशॉट में निर्माण के समय डिस्क की एक प्रति शामिल होती है। आकार में, यह अक्सर एक डिस्क से बहुत छोटा होता है। यदि किसी को दिलचस्पी है कि स्नैपशॉट के आकार की गणना कैसे की जाती है, तो दूसरा भाग देखें। स्नैपशॉट एक श्रृंखला बनाते हैं (यदि स्नैपशॉट पंक्ति में किए जाते हैं) या एक पेड़ (यह कैसे होता है - स्नैपशॉट पर अनुभाग देखें)। यदि आप स्नैपशॉट निकालते हैं, तो यह "भंग" करना शुरू कर देता है - पड़ोसी लोगों के साथ विलय करने के लिए (जबकि स्नैपशॉट की कुल मात्रा घट जाती है)। प्रक्रिया काफी तेज है (कुछ मिनट - और कोई स्नैपशॉट नहीं है)।

स्नैपशॉट्स का सबसे "स्वादिष्ट" फ़ंक्शन, व्यक्तिगत रूप से, मैं एक स्नैपशॉट को डिस्क के रूप में कनेक्ट करने की क्षमता पर विचार करता हूं। यह केवल रीड मोड (रीड-ओनली) से जुड़ा है, और आपको डिस्क की "पिछली" स्थिति को देखने की अनुमति देता है। कोई भी डिस्क पर 10 स्नैपशॉट बनाने और सभी 10 को एक ही मशीन से जोड़ने के लिए परेशान नहीं करता है - इस मामले में, डिस्क "मुख्य" डिस्क का कालक्रम होगा।

इसके अलावा, स्नैपशॉट को एक ही समय में किसी भी मशीन से जोड़ा जा सकता है। (मैं तुरंत सवाल का जवाब देता हूं - क्या स्नैपशॉट से बूट करना संभव है - औपचारिक रूप से, हां, वास्तव में, फ़ाइल सिस्टम केवल रूट पर पढ़ने से बहुत घबरा जाता है - हम इस मुद्दे पर काम कर रहे हैं)।

दूसरा सबसे महत्वपूर्ण कार्य डिस्क को स्नैपशॉट में वापस रोल करना है , अर्थात डिस्क की स्थिति को पुनर्स्थापित करना। इस स्थिति में, परिवर्तन खो गए हैं, इसलिए पुराने स्नैपशॉट पर वापस जाने से पहले एक नया बनाना बेहतर है। इस मामले में, स्नैपशॉट के बीच डिस्क को "स्विच" किया जा सकता है (पीछे / आगे लुढ़का)। स्नैपशॉट को रोलबैक करने की प्रक्रिया में कुछ छोटी असुविधाएँ हैं - डिस्क संचालन के आँकड़े अनुपलब्ध हो जाते हैं और अतीत में मशीन की खपत गलत तरीके से प्रदर्शित होती है। खाते द्वारा कुल खपत की सही गणना की जाती है, लेकिन जब से एक नया VBD (ब्लॉक डिवाइस) बनता है, VM के लिए डेटा नए VBD के लिए प्रदर्शित होता है। (हम इसके बारे में जानते हैं कि यह हमारी बिलिंग की बहुत स्पष्ट विशेषता नहीं है और भविष्य में इसे और अधिक सुविधाजनक बनाने के लिए इसे बदलने की योजना है)।

उपयोग में आसानी के लिए, घोषणा से पहले पिछले कुछ दिनों में, हमने "फाइनल टच" जोड़ा - यदि डिस्क स्नैपशॉट से वापस लुढ़का हुआ है, तो रिवर्ट_ट फ़ील्ड प्रकट होता है (जो, "स्नैपशॉट से पुनर्स्थापित किया गया")। एक तिपहिया, लेकिन उपयोगी। यह फ़ील्ड डिस्क का पीछा तब तक करेगी जब तक कि उसकी मृत्यु नहीं हो जाती (और उसके बाद, हम ऑब्जेक्ट डेटा नहीं हटाते)।

एक महत्वपूर्ण बिंदु: हर बार एक स्नैपशॉट बनाया जाता है या वापस लुढ़का होता है, "गाय" (कॉपी-ऑन-राइट) सिंड्रोम मनाया जाता है - पहला रिकॉर्ड अगले की तुलना में धीमा होगा। इसलिए बहुत अधिक रिकॉर्डिंग वाले बहुत व्यस्त सर्वर पर, स्नैपशॉट को सावधानीपूर्वक व्यवहार किया जाना चाहिए।

यदि आप एक डिस्क पर कुछ स्नैपशॉट बनाते हैं, तो डिस्क को "मध्य" में स्नैपशॉट में रोल करें, फिर कुछ स्नैपशॉट बनाएं, फिर इसे वापस दूसरे स्नैपशॉट में रोल करें, फिर इसे फिर से रोल करें, फिर एक स्नैपशॉट पेड़ बन जाएगा। हम अपने डेटाबेस में रिश्तों को संग्रहीत करते हैं - क्या स्नैपशॉट किसका है। दुर्भाग्य से, विज़ुअलाइज़ेशन अभी भी प्रगति पर है (प्रोग्रामर दृढ़ता से विरोध करते हैं, "जेएस पर एक पेड़ खींचना" का कार्य प्राप्त किया है, और इस पोस्ट को पढ़ते समय उन्हें शर्मिंदा होने दें)।

सीमा। दुर्भाग्य से, यह सब विलासिता असीमित नहीं है। हमारी सीमाएं: स्नैपशॉट श्रृंखला की लंबाई 20 डिस्क से अधिक नहीं है, एक पेड़ (शाखाओं सहित) में स्नैपशॉट की अधिकतम संख्या 60 पीसी से अधिक नहीं है। हमारे अनुमानों के अनुसार, यह सामान्य ऑपरेशन के लिए पर्याप्त से अधिक है।

"ड्राइव" पृष्ठ पर, प्रत्येक ड्राइव में एक "स्नैपशॉट" टैब होता है, जो ड्राइव के सभी स्नैपशॉट को सूचीबद्ध करता है। स्नैपशॉट्स को कॉल किया जा सकता है और उन्हें एक बहु-पंक्ति विवरण दे सकता है (लेकिन सभी आलसी हैं, हां, मुझे भी पसंद है जब ये फ़ील्ड भर जाते हैं, लेकिन उन्हें भरना आमतौर पर बहुत आलसी होता है)। किसी भी मामले में, स्नैपशॉट को विशिष्ट रूप से बिलकुल बेकार संख्या ( Eng। यूनिवर्सली बेकार आईडी, uuid) और (आंशिक रूप से) निर्माण की तारीख से पहचाना जा सकता है।



"कुल" क्षेत्र के बारे में थोड़ा सा। सिस्टम के संचालन की कुछ विशेषताओं के कारण, स्नैपशॉट के बारे में जानकारी असमान रूप से अपडेट की जाती है - स्नैपशॉट की सूची स्नैपशॉट के निर्माण के तुरंत बाद अपडेट की जाती है, लेकिन "कुल" फ़ील्ड में थोड़ी देर के लिए देरी हो सकती है - दो मिनट तक। अन्य संसाधनों के विपरीत जिन्हें हम वास्तविक समय में गणना करते हैं, डिस्क और स्नैपशॉट को एक (लगभग) दो-मिनट के अंतराल पर ध्यान में रखा जाता है। "कुल" फ़ील्ड की गणना खपत की मात्रा की गणना के क्षण में की जाती है, ताकि स्नैपशॉट बनाने के तुरंत बाद "कुल" गलत हो जाएगा (लेकिन यह निश्चित रूप से अगले राइट-ऑफ टिक द्वारा सामान्य रूप से वापस आ जाएगा)।

यह कैसे काम करता है?

(कृपया छोटे बच्चों और व्यक्तियों को स्क्रीन से बढ़ी संवेदनशीलता के साथ हटा दें, अब यह कट्टर होगा)।

हमारे स्नैपशॉट (डिस्क की तरह) वीएचडी-प्रारूप पर आधारित हैं, जो कि माइक्रोसॉफ्ट द्वारा आविष्कार किया गया था, सार्वजनिक उपयोग में लाया गया था और साइट्रिक्स द्वारा उपयोग किया गया था। यह बहुत प्रभावी स्नैपशॉट का समर्थन करता है (वे LVM स्नैपशॉट की तुलना में बहुत अधिक प्रभावी हैं, जो स्नैपशॉट की संख्या के अनुपात में रिकॉर्ड की संख्या बढ़ाते हैं)। जब स्नैपशॉट की एक श्रृंखला बनाई जाती है, तो निहित रूप से एक "शून्य" स्नैपशॉट निहित होता है, जिसके संबंध में अन्य सभी के परिवर्तन दर्ज किए जाते हैं (इस "शून्य" स्नैपशॉट के बिना यह स्पष्ट नहीं हो जाता है कि पहले स्नैपशॉट में किस तरह के "परिवर्तन" संग्रहीत हैं)। शून्य स्नैपशॉट, निश्चित रूप से भुगतान नहीं किया जाता है (क्योंकि शारीरिक रूप से यह डिस्क स्थान नहीं लेता है)।

"छेददार" ब्लॉक में लिखते समय, यह ब्लॉक "पुराने" स्नैपशॉट से वर्तमान डिस्क (जिस हिस्से को रिकॉर्ड किया गया था, उसे बदल दिया जाता है, बाकी को पिछली कॉपी में ले लिया जाता है)। वर्तमान डिस्क पर लिखने के बाद, यह एक छेद कम हो जाता है और इस स्थान का पढ़ना बाद में "चालू" डिस्क से जाता है। स्नैपशॉट डिस्क के लिए डिस्क संचालन की लागत नियमित डिस्क संचालन के रूप में होती है (व्यक्तिगत रूप से, मुझे यकीन नहीं है कि स्नैपशॉट पर संचालन हमारे भंडारण प्रणालियों के लिए सामान्य से अधिक कठिन है, इसलिए मैंने इस क्षेत्र को नहीं छूने का फैसला किया है)।

स्नैपशॉट बनाते समय क्या होता है? (तकनीकी हिस्सा)।



वर्तमान ड्राइव को तथाकथित 'आधार कॉपी' घोषित किया जाता है, अर्थात मशीन की स्थिति की केवल एक प्रति पढ़ें। चूंकि स्नैपशॉट श्रृंखला में डिस्क पूर्ववर्तियों के पास हो सकती है, बेस कॉपी अन्य आधार कॉपी को संदर्भित करती है (नोट बेस कॉपी हमेशा केवल आधार कॉपी को संदर्भित करता है)। इसके अलावा, एक और "स्नैपशॉट" बनाया गया है - यह वर्तमान स्थिति की एक रीड / राइट कॉपी है (यानी, स्नैपशॉट और आधार कॉपी के बीच का अंतर)। सामान्य तौर पर, आप स्नैपशॉट लिख सकते हैं, लेकिन हम इसे मना करते हैं, क्योंकि इस मामले में हमें पतले प्रावधान मिलते हैं, और हम इसे आरक्षित स्थान के गारंटीकृत आरक्षण के कारणों के लिए अनुमति नहीं दे सकते हैं (नीचे अनुभाग देखें)। लेकिन यहां तक ​​कि "अनकवर्ड" स्नैपशॉट में 8MB मेटा डेटा होता है। इस प्रकार, प्रत्येक स्नैपशॉट में दो हिस्सों होते हैं: मेटाडेटा (8 एमबी) और आधार प्रतिलिपि की सामग्री। डिस्क एक प्रकार के लिंक को पिछले स्नैपशॉट की आधार प्रति, और दूसरे प्रकार के लिंक को "स्नैपशॉट" से संदर्भित करता है। जब एक डिस्क रोलबैक होता है, तो स्नैपशॉट को क्लोन किया जाता है (कॉपी नहीं किया जाता है - इसलिए गाय के साथ बारीकियों), स्नैपशॉट द्वारा संदर्भित एक ही आधार प्रतिलिपि का संदर्भ देते हुए क्लोन किया गया था।

यदि कोई एक पंक्ति में दो या तीन बार (डेटा को बदले बिना) स्नैपशॉट बनाता है, तो आपको मेटा डेटा के साथ एक आधार कॉपी और तीन स्नैपशॉट मिलते हैं।

जब स्नैपशॉट हटा दिया जाता है (बीच में से), तो निम्न होता है: स्नैपशॉट (मेटाडेटा) स्वयं ही तुरंत हटा दिया जाता है, लेकिन आधार प्रतिलिपि को भंग करना शुरू हो जाता है - डेटा या तो "पिछले" स्थिति में, "भविष्य" में स्थानांतरित किया जाता है, या आमतौर पर बाहर फेंक दिया जाता है (यदि कोई वैकल्पिक स्थिति है) अतीत और भविष्य दोनों में)। यह प्रक्रिया स्नैपशॉट का "पिघलने" है, जो तुरंत नहीं होता है। यह कहा जाना चाहिए कि डेटा वास्तव में कॉपी नहीं किया गया है, लेकिन LVM (LE को विभिन्न LVs के बीच फेंक दिया गया है) के भीतर केवल "पुनः चिह्नित" किया गया है, या हटा दिया गया है (यदि पिछली कॉपी में ब्लॉक का एक अलग संस्करण है)।

पतले प्रावधान के बारे में थोड़ा

इनमें से एक प्रश्न जो कि हमें पतले प्रावधान से संबंधित भंडारण पर पूछा जाता है। पतला प्रावधान क्या है? यह तब होता है जब उपभोक्ता को एक निश्चित मात्रा में स्थान घोषित किया जाता है, और वास्तविक कब्जे वाली जगह कम होती है - और वास्तविक रिकॉर्डिंग के रूप में बढ़ जाती है। यह स्नैपशॉट के साथ हमारे मॉडल के साथ पूरी तरह से फिट बैठता है, "खाली जगह" से, और यह पूरी तरह से एक्ससीपी में लागू होता है। वास्तव में, पतला प्रावधान एक "स्नैपशॉट में रिकॉर्ड" है, अर्थात, "खाली जगह" में एक रिकॉर्ड, जो इस से वास्तविकता में अपना स्थान लेना शुरू करता है।

हालांकि, पतला प्रावधान खतरनाक है। पतले प्रावधान का रिवर्स साइड ओवरसेलिंग (उर्फ ओवरस्क्रिप्शन) है। मोटे तौर पर, हमारे पास 100TB की जगह है। हमने ऐसे स्टोरेज पर 1TB की 200 ड्राइव बनाने की अनुमति दी। शुरुआत में वास्तविक डिस्क का आकार 30-50 गीगाबाइट होता है, इसलिए बहुत सारी खाली जगह होती है। लेकिन, अचानक, ग्राहक डिस्क को लिखना शुरू कर देते हैं। उन्हें डिस्क पहले ही आवंटित कर दिए गए हैं। इसमें थोड़ा समय लगता है, और ... हाँ, औसत डिस्क फुल 500GB तक रेंगती है। और फिर ... तब कोई दूसरा गीगाबाइट लिखना चाहता है, लेकिन उसे एक त्रुटि मिलती है। क्योंकि जगह खत्म हो गई है।

हमारे पास ग्राहकों के डिस्क पर शक्ति नहीं है, और अगर हमने उन्हें संसाधन प्रदान किए हैं, तो ये संसाधन उनके हैं, और यह कहना हमारा व्यवसाय नहीं है कि "अब यह संभव है, लेकिन अब नहीं"। यदि अन्य संसाधनों के संबंध में कोई समझौता हो सकता है (3% प्रोसेसर किसी को नहीं दिए गए थे, तो उन्हें प्रदर्शन मार्जिन प्रदान करने के लिए किसी अन्य होस्ट पर माइग्रेट किया गया था), अर्थात्, एक मामूली "अंडर-डिलीवरी" बस ध्यान देने योग्य नहीं है, फिर यह डिस्क स्थान के लिए काम नहीं करेगा। । उन्होंने कम से कम एक सेक्टर को दर्ज करने की अनुमति नहीं दी - पूरे ब्लॉक डिवाइस में एक त्रुटि दर्ज की गई है।

इसलिए, सामान्य अर्थों में, हमने ऐसा नहीं करने का फैसला किया।

इस तथ्य के कारण कि स्नैपशॉट आर / ओ में बने होते हैं, और निर्माण के बाद ही कम हो जाता है, हम एक नया स्नैपशॉट बनाने से इनकार कर सकते हैं (कुछ भी हो - जगह अचानक समाप्त हो सकती है), लेकिन हम निश्चित रूप से पहले से निर्मित डिस्क और स्नैपशॉट काम करने से इनकार नहीं करेंगे।