बैकअप - असंगत सेंटॉर्स के खिलाफ आभासी क्लोन

या वर्चुअल मशीन क्लोनिंग का उपयोग कर सर्वर को बंद किए बिना लगातार बैकअप बनाने का एक आसान तरीका

एक वैक्यूम में सही बैकअप

सिस्टम एडमिनिस्ट्रेटर, सर्वर पर डेटा बैकअप सेट करता है, उसकी कल्पना में सुंदर चित्र बनाता है। बैकअप स्क्रिप्ट कर्तव्यनिष्ठा से डेटा को संग्रह में रखती है, जहां वे सुरक्षित हैं, मन की शांति को प्रेरित करते हैं। एक प्रलय होती है, जिसके परिणामस्वरूप डिस्क पर जानकारी एक इकाई के बिना शून्य के एक सुनसान अनुक्रम में बदल जाती है। दहशत बढ़ती जा रही है, निर्देशक बंदूक के साथ अपने कार्यालय में बंद है। और यहाँ नायक प्रकट होता है, शांति से अंतिम बैकअप से डेटा को पुनर्स्थापित करता है और आधे घंटे के बाद सर्वर काम करता है जैसे कि कुछ भी नहीं हुआ था। संगीत के लिए, नायक सूर्यास्त में चला जाता है।

किसी न किसी वास्तविकता में समायोजन होता है: यदि आप प्रतिलिपि बनाते समय बहुत कम चीजों के लिए प्रदान नहीं करते हैं, तो पुनर्प्राप्ति के दौरान यह हो सकता है कि बैकअप के कुछ डेटा को असंगत तरीके से क्षतिग्रस्त कर दिया जाएगा। आसान वसूली विभिन्न अभिलेखों में टुकड़ों के लिए एक दर्दनाक खोज में बदल जाएगी और उन्हें एक पूरे से इकट्ठा करेगी। एक टूटी हुई प्रतिलिपि स्थिरता के कारण सूर्यास्त में प्रस्थान स्थगित हो जाता है।

असंगतता को कॉपी करें

प्रतिलिपि की असंगतता की अवधारणा का अर्थ है कि एक समय में मूल की स्थिति को दर्शाने वाले डेटा के एक ही सरणी के बजाय, प्रतिलिपि में कई भागों होते हैं जो मूल के संबंधित भागों की स्थिति को अलग-अलग बिंदुओं पर समय में दर्शाते हैं।

उदाहरण के लिए, यदि हम एक साथ एक ही काउंटर को दो अलग-अलग फ़ाइलों में बढ़ाते हैं, तो गैर-सुसंगत प्रतिलिपि में इन फ़ाइलों का बेमेल मान हो सकता है। एक और उदाहरण, अगर घोड़े वाला एक आदमी सड़क पर चल रहा है और हमने उन्हें कॉपी करने का फैसला किया है, तो एक गैर-सुसंगत प्रतिलिपि में सड़क के साथ एक सेंटौर होगा।

कैसे सेंटूर आते हैं

सबसे आसान और सबसे लोकप्रिय बैकअप विधि फ़ाइल सिस्टम की फाइल-बाय-फाइल कॉपी है। संग्रह डंप, rsync, bacula का उपयोग करके टार या cpio, या वृद्धिशील द्वारा बनाई गई पूर्ण प्रति संग्रहीत कर सकता है। फ़ाइल सिस्टम की सभी फाइलें बायपास हो गई हैं, संभवतः कुछ नियमों के अनुपालन के लिए जाँच की गई हैं और संग्रह में कॉपी की गई हैं।

संगतता के उल्लंघन का पहला स्पष्ट कारण एक फ़ाइल परिवर्तन है जो प्रतिलिपि बनाने के दौरान होता है। सर्वर अपने सामान्य कार्यों को करना जारी रखता है, फाइलें बनाई जाती हैं, अपडेट की जाती हैं, हटाई जाती हैं। लंबे समय तक कॉपी करना सभी डेटा की मात्रा जितनी अधिक होगी, मूल में डेटा के परिवर्तन की दर उतनी ही अधिक होगी - कॉपी की असंगतता जितनी अधिक होगी। कुछ मामलों में यह कम महत्वपूर्ण होगा - उदाहरण के लिए, अगर एक कॉर्पोरेट वेबसाइट रात में कॉपी की जाती है, जिस पर उस समय केवल लॉग बदले जाते हैं। लेकिन अगर उस समय एसवीएन रिपॉजिटरी में बदलाव दर्ज किए गए थे, तो इस तथ्य के बावजूद कि एसवीएन लेनदेन का उपयोग करता है, इस तरह के बैकअप से उबरने के बाद, आपको नुकसान हो सकता है या मनमाने घटकों के संस्करणों का मिश्रण हो सकता है।

क्लोन कैसे बनाए जाते हैं

इस समस्या को हल करने के लिए, एक सार्वभौमिक योजना है - डिस्क या फ़ाइल सिस्टम को क्लोन करना, स्नैपशॉट। इसका कार्यान्वयन अलग-अलग हो सकता है - उदाहरण के लिए, फ़ाइल सिस्टम के माध्यम से ही UFS और ZFS में, या कम, LVM / DeviceMapper या VHD में एक ब्लॉक डिवाइस पर। उपयोगकर्ता की ओर से, ऐसा लगता है जैसे सही समय पर ऑपरेटिंग सिस्टम फ़ाइल सिस्टम या ब्लॉक डिवाइस की दूसरी प्रतिलिपि बनाता है। स्नैपशॉट बनाने में बहुत कम समय लगता है (कुछ मिली सेकेंड से लेकर सेकंड तक), इसलिए अनुप्रयोगों के संचालन को प्रभावित किए बिना सभी रिकॉर्डिंग संचालन अवरुद्ध हो जाते हैं। स्नैपशॉट के निर्माण के दौरान, कोई परिवर्तन नहीं होता है और प्रतिलिपि सुसंगत है।

क्या स्नैपशॉट बैकअप के रूप में उपयुक्त हैं? अल्पकालिक जरूरतों के लिए, हाँ। उदाहरण के लिए, किसी भी जोखिम भरे अपडेट से पहले, यह स्नैपशॉट बनाने के लिए उपयोगी होगा और, अगर कुछ गलत होता है, तो इस स्नैपशॉट पर स्थिति को वापस रोल करें, और यदि सब कुछ ठीक हो जाता है, तो स्नैपशॉट को हटाया जा सकता है। स्नैपशॉट का उपयोग करना एक मूल्य पर आता है - डिस्क संचालन धीमा करना, डिस्क स्थान की खपत बढ़ाना। इसलिए, स्नैपशॉट के लंबे समय तक उपयोग में प्रदर्शन से अधिक लाभ लाना चाहिए। स्नैपशॉट बैकअप के लिए उपयुक्त नहीं हैं क्योंकि वे मूल के समान ही हैं। यदि मूल प्रभावित होता है, तो एक प्रति भी भुगतने की संभावना है।

बैकअप में, स्नैपशॉट को एक अपरिवर्तित फ़ाइल सिस्टम के रूप में उपयोग किया जाता है, जो कि जब तक आवश्यक हो, रिमोट स्टोरेज में कॉपी किया जा सकता है और कॉपी के अंत में कॉपी की निरंतरता का उल्लंघन नहीं किया जाएगा। नकल एक ही डंप / राल / rsync / Bacula के साथ किया जा सकता है। स्नैपशॉट का उपयोग करने के बाद, इसे हटा दिया जाता है ताकि संसाधनों को बर्बाद न करें।

सर्वर डेटा संगति

क्या यह स्वच्छ वसूली की समस्या को हल करता है? केवल आंशिक रूप से। हमें फ़ाइल सिस्टम की एक सुसंगत प्रतिलिपि मिलती है, लेकिन हमें सभी सर्वर जानकारी की एक सुसंगत प्रतिलिपि नहीं मिलती है। आखिरकार, अभी भी ऐसे एप्लिकेशन हैं जो रैम में डेटा पर काम करते हैं और इसे डिस्क पर सहेजते हैं। मेमोरी में, एप्लिकेशन डेटा सुसंगत है, लेकिन डिस्क पर नहीं लिखा जाता है। जानकारी उस क्रम में एक फ़ाइल को लिखी जाती है जो एप्लिकेशन और ऑपरेटिंग सिस्टम के लिए सुविधाजनक है। इस आदेश के बारे में बैकअप सिस्टम को देखने का बिंदु आवेदन के लिए रूचि का नहीं है। प्रतिलिपि की स्थिति अचानक बंद होने के बाद सर्वर डिस्क की स्थिति से मेल खाती है, उदाहरण के लिए, ब्लैकआउट।

वेब परियोजनाओं के लिए, असंगति का एक संभावित शिकार MySQL डेटाबेस है। मान लीजिए कि हमारे पास बड़ी संख्या में डेटा अपडेट के साथ एक सक्रिय परियोजना है, डेटा लगातार तालिकाओं को लिखा जाता है। डेटाबेस सर्वर रैम में टेबल डेटा रखता है, समय-समय पर डिस्क में परिवर्तन को फ्लशिंग करता है। एक ऑपरेटिंग सिस्टम भी इससे जुड़ता है, जो प्रदर्शन को बेहतर बनाने के लिए क्या आवश्यक है, इसके बारे में अपने स्वयं के विचारों के आधार पर, लेखन बफ़र्स में डेटा में देरी कर सकता है। यदि हम इस समय फ़ाइल सिस्टम की एक सुसंगत प्रतिलिपि बनाते हैं, तो अलग-अलग तालिकाओं में डेटा हो सकता है जो समय के विभिन्न बिंदुओं पर प्रासंगिक है, और कुछ तालिकाओं में डेटा की अखंडता का उल्लंघन हो सकता है यदि उस क्षण उन्हें किसी अन्य स्थान पर स्थानांतरित किया गया हो।

यह हमें सर्वर पर डेटा बदलने वाले प्रत्येक एप्लिकेशन की विशेषताओं को ध्यान में रखने की आवश्यकता की ओर जाता है। और बैकअप बनाने की प्रक्रिया को अनुकूलित करने के लिए, प्रत्येक एप्लिकेशन को मजबूर करता है जो प्रतिलिपि बनाने से पहले डेटा को डिस्क पर सहेजने के लिए बदलता है और कॉपी करने के दौरान उन्हें बदलने से बचता है। MySQL सर्वर के लिए, इसमें FLUSH TABLES WITH READ LOCK कमांड के साथ एक FLUSH TABLES WITH READ LOCK डिस्क में बदलाव करने और डिस्क को बदलने के लिए तालिकाओं को लॉक करना शामिल है, UNLOCK TABLES कमांड के साथ कॉपी बनाने के बाद तालिकाओं को UNLOCK TABLES । और अगर यह एक जावा-आधारित एप्लिकेशन है जिसमें तीसरे पक्ष के घटक हैं, जिसके संचालन का पता नहीं है, स्थिति जटिल है और आवेदन का केवल एक पूर्ण विराम है। विंडोज अनुप्रयोगों के लिए, एक विशेष क्वाइसे तंत्र प्रस्तावित किया जाता है, जिसकी मदद से ऑपरेटिंग सिस्टम अनुप्रयोगों को यह बताता है कि यह एक बैकअप शुरू कर रहा है और उन्हें अपने डेटा को डिस्क में डंप करने की आवश्यकता है या किसी तरह उन्हें एक सुसंगत स्थिति में डिस्क पर लाने की आवश्यकता है।

व्यवहार में, यह वह हिस्सा है जिसे अक्सर बैकअप सेट करते समय अनदेखा किया जाता है, या सिस्टम एडमिनिस्ट्रेटर (या डेवलपर) जानबूझकर अतिरिक्त सेटिंग्स को मना कर देता है यदि वह समझता है कि उसकी स्थिति में जोखिम महत्वहीन है और यह कॉपी परिदृश्य को जटिल बनाने की अतिरिक्त लागत के लायक नहीं है।

आभासी मशीनों के आभासी क्लोन

हाल के वर्षों में, वर्चुअल मशीन डेस्कटॉप और सर्वर दोनों पर परिचित हो गई हैं। प्रगति लोगों के जीवन को अधिक आरामदायक बनाती है। वह सिस्टम प्रशासकों के लिए जीवन को और अधिक आरामदायक बनाता है। सर्वर वर्चुअल मशीन को आसानी से उपकरण अमूर्त के लिए उपयोग किया जा सकता है, हार्डवेयर संसाधनों के कुशल और घने उपयोग के लिए, बड़ी संख्या में कार्यात्मक रूप से विभिन्न सर्वरों के सुविधाजनक प्रशासन के लिए, कम संख्या में भौतिक सर्वरों पर एकजुट किया जाता है। और वर्चुअलाइजेशन आपको पौराणिक प्राणियों और शानदार म्यूटेंट के बिना, सही बैकअप बनाने की अनुमति देता है।

कई वर्चुअलाइजेशन वातावरण आपको एक रनिंग वर्चुअल मशीन (एक डिस्क के विपरीत, एक डिस्क स्नैपशॉट के साथ मेमोरी स्नैपशॉट को भ्रमित करने से बचने के लिए स्नैपशॉट की तुलना में अधिक बार उपयोग किया जाता है) के स्नैपशॉट को बचाने की अनुमति देता है। मूल रूप से, उन्हें विकास और परीक्षण के लिए डिज़ाइन किया गया है, उदाहरण के लिए, अद्यतन करने से पहले एक कार्यशील सर्वर की स्थिति को संरक्षित करने के लिए, ताकि यदि असफल परिणाम वापस आ जाए। और बैकअप के संदर्भ में, मेमोरी और डिस्क का एक स्नैपशॉट सभी सर्वर डेटा की एक सुसंगत प्रतिलिपि है। इस प्रकार, हमारे पास सही बैकअप प्राप्त करने के लिए एक उपकरण है, और इसे सही तरीके से लागू किया जाना चाहिए।

Citrix XenServer (XenServer Free सहित) और XCP मेमोरी और डिस्क के साथ वर्चुअल मशीन का स्नैपशॉट लेने के लिए xe vm-checkpoint कमांड का उपयोग करते हैं। स्नैपशॉट के निर्माण के दौरान, वर्चुअल मशीन को रोक दिया जाता है और पूरा होने के बाद जारी रहता है। स्नैपशॉट तैयार है और भंडारण में है, लेकिन इसके रूप में, बैकअप के रूप में इसका मूल्य छोटा है - जैसा कि डिस्क के स्नैपशॉट के साथ होता है, मूल के साथ जो संग्रहीत किया जाता है वह मूल के साथ पीड़ित हो सकता है। एक प्रतिलिपि प्राप्त करने के लिए जिसे कहीं भी संग्रहीत किया जा सकता है, आपको xe vm-export कमांड का उपयोग करने की आवश्यकता है, जो आउटपुट पर, वर्चुअल मशीन की मेमोरी और डिस्क को एक xva फ़ाइल में सहेजता है।

XV + xm के रूप में Xen हाइपरवाइजर 4, LVM पर मशीन डिस्क रखने पर, आपको उसी के बारे में करने की अनुमति देता है। मानक xm save -c कमांड (चेकपॉइंट से बचाएं) आपको मेमोरी के स्नैपशॉट को बचाने और फिर वर्चुअल मशीन को जारी रखने की अनुमति देता है। एक डिस्क स्नैपशॉट नहीं बनाया गया है, यह मानते हुए कि कोई और इसे करेगा। दिमाग में आने वाला पहला निर्णय डोमेन को रोकना, एक डिस्क स्नैपशॉट बनाना और उसके बाद ही वर्चुअल मशीन स्नैपशॉट करना है। लेकिन यह पास नहीं होगा, ताकि डोमेन को बचाया जा सके, एक्सईएन को यह आवश्यक है कि वह काम करने की स्थिति में हो। इस समस्या को हल करने के कई तरीके हैं, अंत में, सबसे सुविधाजनक विकल्प xend के एक छोटे से संशोधन के साथ था (आप हमारे 4.0 के लिए डेबियन 6 के लिए छोटा पैच ले सकते हैं और, यदि आवश्यक हो, तो इसे अपनी आवश्यकताओं के लिए संशोधित करें: www.truevit.ru/misc.xen-checkpoint -क्लोन-पैच )। ऐसा करने के लिए, चेकपॉइंट बनाने के लिए जिम्मेदार फ़ंक्शन के कोड में यह इंगित करने के लिए पर्याप्त है कि डिस्क के स्नैपशॉट का उपयोग सहेजे गए वर्चुअल मशीन के कॉन्फ़िगरेशन में किया जाता है, न कि उनके मूल और वर्चुअल मशीन को फिर से शुरू करने से पहले, मानक LVM तरीके से स्नैपशॉट बनाते हैं। उसके बाद, हमारे पास वर्चुअल मशीन की मेमोरी के स्नैपशॉट और डिस्क के स्नैपशॉट के साथ एक LVM विभाजन के साथ एक फ़ाइल होगी।

Xen- आधारित वर्चुअलाइजेशन सिस्टम के अलावा, VMWare और हाइपर- V समान क्षमता प्रदान करते हैं। उनकी शब्दावली में, चेकपॉइंट को स्नेपहोस्ट कहा जाता है।

अच्छा क्लोन - बंद क्लोन

संग्रह में वर्चुअल मशीन की मेमोरी और डिस्क की पूरी प्रतियां संग्रहीत करना बहुत महंगा नहीं है यदि यह छोटे डेटा के साथ कुछ छोटा सर्वर है। यदि आप इस योजना का उपयोग किसी गंभीर चीज़ के लिए करने का प्रयास करते हैं, तो कहें, 8 GB RAM और डिस्क पर 100 GB डेटा, प्रति नेटवर्क ट्रांसफ़र और संग्रहण प्रति 108 GB के साथ विज़िट किए गए साइट के लिए उत्पादन सर्वर जल्दी से आरक्षण मूल्य को निषेधात्मक बना देगा।

संग्रह की बड़ी संख्या को संग्रहीत करने का सबसे सुविधाजनक तरीका वृद्धिशील बैकअप है। अगली कॉपी के दौरान, आर्काइव फाइल सिस्टम की पूरी कॉपी रिकॉर्ड नहीं करता है, लेकिन केवल पिछली कॉपी के बाद होने वाले बदलाव। इसके लिए, हमें एक सुसंगत फ़ाइल सिस्टम की आवश्यकता है जिसमें सर्वर का सुसंगत डेटा स्थित है।

एकमात्र सर्वर स्थिति है जिसमें डिस्क पर डेटा को अनुप्रयोगों द्वारा यथासंभव सही तरीके से सहेजा जाता है और रैम में परिवर्तन नहीं होता है। यह स्थिति एक सही रूप से रोका गया सर्वर है। सभी एप्लिकेशन, जो कम से कम किसी तरह अपने डेटा की सुरक्षा के बारे में परवाह करते हैं, सराहना करते हैं और आसानी से मानते हैं जब ऑपरेटिंग सिस्टम उन्हें अपने काम को पूरा करने के लिए कहता है - स्टॉप स्क्रिप्ट के माध्यम से या SIGTERM सिग्नल भेजकर। इस तरह से रोका गया सर्वर का फाइल सिस्टम सभी सर्वर डेटा की उच्चतम संभव सुसंगत स्थिति है।

हमें इस राज्य में एक फ़ाइल सिस्टम की आवश्यकता है। हमारे पास एक क्लोन है - एक वर्चुअल मशीन स्नैपशॉट और एक डिस्क स्नैपशॉट। हमें क्लोन वर्चुअल मशीन शुरू करने और इसके ऑपरेटिंग सिस्टम को शटडाउन कमांड देने की आवश्यकता है। XenServer / XCP में, इसके लिए आपको स्नैपशॉट को xe snapshot-copy कमांड के साथ टेम्पलेट में बदलना होगा और फिर इस टेम्पलेट पर एक नई मशीन शुरू करनी होगी। xm restore जरिए मशीन को शुरू करने के लिए एक्सपी हाइपरवाइजर पर्याप्त है।

क्लोन मूल को नुकसान पहुंचाने में सक्षम नहीं होना चाहिए। क्लोन एक डिस्क के रूप में अपने स्नैपशॉट का उपयोग करता है (xend / xm में, यह डिफ़ॉल्ट रूप से ऐसा नहीं है, लेकिन यह पहले बताए गए पैच से तय होता है, जो एक वर्चुअल मशीन स्नैपशॉट को बचाता है) - मूल डिस्क क्लोन तक पहुंच योग्य नहीं है। लेकिन अगर मूल एक नेटवर्क के साथ काम करता है, तो क्लोन में एक ही सेटिंग के साथ एक नेटवर्क इंटरफ़ेस होगा। जब चालू किया जाता है, तो बाहरी दुनिया के साथ संवाद करने के अधिकार के लिए क्लोन और मूल के बीच संघर्ष होगा। इसलिए, क्लोन का नेटवर्क इंटरफ़ेस अलग वर्चुअल नेटवर्क के अंदर निष्क्रिय या पृथक होना चाहिए जो वास्तविक में नहीं जाता है। सर्वर को रोकने की विधि इस बात पर निर्भर करती है कि यह कैसे कॉन्फ़िगर किया गया है और सबसे अधिक बार xm shutdow के लिए पीवी मशीन और एसीपीआई पावर ऑफ के लिए xm shutdow कमांड पर्याप्त होगा।

डिस्कनेक्ट करने के बाद, क्लोन वर्चुअल मशीन को हटाया जा सकता है, और हमारे पास अभी भी एक स्वच्छ स्टॉप के साथ डिस्क का स्नैपशॉट है। यह शुद्ध संगति के साथ एक फाइल सिस्टम होगा। इसे उसी तरह से मन की शांति के साथ संग्रह में भेजा जा सकता है जिस तरह से साधारण डिस्क स्नैपशॉट कॉपी किए जाते हैं।

विजय का भाव

इस तथ्य से जुड़ी छोटी कठिनाइयां हैं कि क्लोन को चलाने के लिए, रैम की आवश्यकता होती है, जो अचानक पर्याप्त नहीं हो सकती है; मशीन के संचालन को निलंबित कर दिया गया है जबकि मेमोरी को बचाया जा रहा है। उनका निर्णय विशिष्ट परिस्थितियों पर निर्भर करता है। उदाहरण के लिए, यदि हम, सभ्य लोगों के रूप में, रात में आरक्षण करते हैं, तो हम चित्र से पहले मूल रूप से स्मृति से आधा ले सकते हैं और मुक्त आधे पर क्लोन शुरू कर सकते हैं। Xend का एक छोटा संशोधन आपको वर्चुअल मशीन को बंद किए बिना भी मेमोरी का एक स्नैपशॉट लेने की अनुमति देता है (XCP में यह तकनीकी रूप से भी संभव है, सबसे अधिक संभावना है कि डेवलपर्स अभी तक इस पर अपना हाथ नहीं मिला है)।

अत्यधिक लोड की गई इंटरनेट परियोजना के लिए वर्चुअल मशीन में सर्वरों का माइग्रेट करना बहुत ही कम हो सकता है। एक ही प्रकार के दर्जनों या सैकड़ों सर्वर होने के कारण, यह सबसे छोटा विस्तार करने के लिए डिबग करने के लिए अधिक व्यावहारिक होगा और एप्लिकेशन टूल्स का उपयोग करके बैकअप प्रक्रिया को एकजुट करेगा, फिर वर्चुअलाइजेशन ओवरहेड पर संसाधनों का एक छोटा प्रतिशत खर्च करने की तुलना में इसे कई बार लागू करना होगा।

छोटी इंटरनेट परियोजनाओं के लिए या कॉरपोरेट सर्वरों के मिश्रित समूह के लिए, वर्चुअलाइजेशन का उपयोग करके क्लीन बैकअप के आयोजन की लागत अधिकांश मामलों में सबसे कम होगी। नतीजतन, हमें विभिन्न प्रकार के अनुप्रयोगों के लिए बैकअप स्क्रिप्ट को फिट किए बिना सामान्य सुसंगत सर्वर बैकअप बनाने का अवसर मिलता है। यह जोखिम को कम करता है कि किसी भी घटक को भुला दिया जाएगा या काम नहीं करेगा। नायक, दस मिनट में सर्वर को बहाल कर देता है, एक घोड़े पर सूर्यास्त में कूदता है, बिना सेंटौर में बदलने का जोखिम।