क्लाउड स्टोरेज के लिए बैकअप

कोई भी गंभीर प्रोजेक्ट नियमित बैकअप के बिना नहीं कर सकता है। डेटा संग्रह प्रणाली को चुनने और कॉन्फ़िगर करने के अलावा, आपको यह तय करने की आवश्यकता है कि डेटा को कहाँ संग्रहीत किया जाए। इसके अलावा, यह उसी सर्वर पर न होने के लिए वांछनीय है जहां बैकअप किया जाता है, लेकिन कुछ स्वतंत्र विश्वसनीय जगह में डेटा स्टोर करने में सक्षम होने के लिए।

विशेष रूप से इसके लिए, हमारा "क्लाउड स्टोरेज" महान है। 1 जीबी डेटा स्टोर करने पर प्रति माह केवल 3 रूबल का खर्च आएगा।

कहाँ से शुरू करें?

"क्लाउड स्टोरेज" का उपयोग शुरू करने के लिए आपको पंजीकरण करना होगा (पूर्ण पंजीकरण में लगभग 5 मिनट लगते हैं)। सभी नए खातों के लिए, 10 बोनस रूबल उपलब्ध हैं, जिसके साथ आप पूरी तरह से सेवा का परीक्षण कर सकते हैं। यदि आप पहले से ही हमारे ग्राहक हैं और सेवा का परीक्षण करना चाहते हैं - टिकट प्रणाली के माध्यम से अनुरोध पर आपको 10 बोनस रूबल का श्रेय दिया जाएगा। अब सब कुछ जाने के लिए तैयार है।

नियंत्रण कक्ष में, "क्लाउड स्टोरेज" → "फाइलें" अनुभाग में, फ़ाइल प्रबंधक के लिए एक वेब इंटरफ़ेस है। इसमें बैकअप स्टोर करने के लिए एक निजी कंटेनर बनाएँ (निजी कंटेनर तक पहुंच प्राधिकरण के बाद ही संभव है - महत्वपूर्ण डेटा संग्रहीत करते समय यह अधिक सुरक्षित है), उदाहरण के लिए, "बैकअप"। फ़ाइलों को स्टोरेज पर अपलोड करने के लिए, एक अतिरिक्त उपयोगकर्ता बनाना बेहतर है, जिनके पास अधिकारों का न्यूनतम सेट होगा - यह प्राथमिक उपयोगकर्ता की रक्षा करेगा, जिनके पास हमेशा पूर्ण अधिकार हैं।

एक अतिरिक्त उपयोगकर्ता बनाना टैब "क्लाउड स्टोरेज" → "एक्सेस सेटिंग्स" में है। उपयोगकर्ता के लिए कोई भी नाम दर्ज करें और "बनाएँ" पर क्लिक करें - एक उपयोगकर्ता सेटिंग संवाद दिखाई देगा।

उपयोगकर्ता सेटिंग्स में आपको एक नया पासवर्ड जनरेट करना होगा। पासवर्ड स्टोर करने का विकल्प वैकल्पिक है, लेकिन फिर, भविष्य में, उपयोगकर्ता सेटिंग्स में पासवर्ड पर जासूसी करना असंभव होगा, लेकिन केवल एक नया उत्पन्न करता है। और उन कंटेनरों पर टिक करना सुनिश्चित करें जिनके पास उपयोगकर्ता की पहुंच होगी। "एक्सेस एक्सेस चेंजेज" पर क्लिक करके सेटिंग्स को सेव करना याद रखें।

अब आप सर्वर पर बैकअप प्रक्रिया को कॉन्फ़िगर करने के लिए तैयार हैं।

सरल विकल्प

यदि आपके पास MySQL डेटाबेस के साथ एक मध्यम आकार की साइट है जिसे आप नियमित रूप से बैकअप करना चाहते हैं, तो बस दो विशेष रूप से तैयार स्क्रिप्ट डाउनलोड करें और आवश्यक सेटिंग्स निर्दिष्ट करें।

पहली चीज जो आपको चाहिए वह है अधिभार उपयोगिता - यह आपको आसानी से भंडार में फ़ाइलों को अपलोड करने की अनुमति देती है। यह निम्नानुसार स्थापित है (संभवतः डेबियन ओएस आपके सर्वर पर स्थापित है):

$ wget https://raw.github.com/selectel/supload/master/supload.sh $ mv supload.sh /usr/local/bin/supload $ chmod +x /usr/local/bin/supload 

अगला, आपको बैकअप करने के लिए स्क्रिप्ट को डाउनलोड करने और कॉन्फ़िगर करने की आवश्यकता है:

 $ wget https://raw.github.com/selectel/storage/master/utils/sbackup.sh $ chmod +x sbackup.sh 

"अपने पसंदीदा पाठ संपादक" का उपयोग करके "backup.sh" स्क्रिप्ट खोलें और निम्नलिखित मान बदलें:

• SS_USER - रिपॉजिटरी में प्राधिकरण के लिए उपयोगकर्ता (अतिरिक्त उपयोगकर्ता जिसे हमने पहले बनाया था);
• SS_PWD - उपयोगकर्ता के लिए पासवर्ड;
• SS_CONTAINER - कंटेनर का नाम जिसमें बैकअप लोड किया जाएगा;
• TARGET_DIR - वह पथ जहाँ साइट फ़ाइलें स्थित हैं;
• BACKUP_DIR - सर्वर पर पथ जहां बैकअप अस्थायी रूप से जोड़े जाएंगे;
• EXCLUDE_LIST - उन फ़ाइलों की सूची, जिन्हें संग्रह में शामिल करने की आवश्यकता नहीं है;
• DB_NAME - सभी उपलब्ध डेटाबेस का बैकअप लेने के लिए MySQL डेटाबेस का नाम, मान के रूप में __ALL__ मान निर्दिष्ट करता है;
• DB_USER और DB_PWD - MySQL से कनेक्ट करने के लिए उपयोगकर्ता और पासवर्ड;
• ईमेल - ईमेल, जहां बैकअप निष्पादन पर रिपोर्ट भेजी जाएगी (आप रिपोर्ट को अक्षम करने के लिए इसे खाली निर्दिष्ट कर सकते हैं);
• EMAIL_ONLY_ON_ERROR - यदि आप हाँ निर्दिष्ट करते हैं, तो रिपोर्ट केवल समस्याओं / त्रुटियों के मामले में भेजी जाएगी;
• DELETE_BACKUPS_AFTER_UPLOAD - यदि आप हाँ निर्दिष्ट करते हैं, तो निर्मित बैकअप फ़ाइलों को रिपॉजिटरी में एक सफल अपलोड के बाद अस्थायी फ़ोल्डर से हटा दिया जाएगा;
• STORAGE_EXPIRE - विकल्प आपको यह निर्दिष्ट करने की अनुमति देता है कि बैकअप फ़ाइल को रिपॉजिटरी में कितने दिनों तक संग्रहीत किया जाना चाहिए, जिसके बाद यह स्वचालित रूप से हटा दिया जाएगा।

बैकअप की जाँच और निष्पादित करने के लिए, आप स्क्रिप्ट को मैन्युअल रूप से चला सकते हैं:

 $ ./sbackup.sh 

निष्पादन का परिणाम कंसोल में प्रदर्शित किया जाएगा।



अब आपको बैकअप की आवृत्ति को कॉन्फ़िगर करने की आवश्यकता है, यह क्रोन का उपयोग करके किया जा सकता है। ऐसा करने के लिए, बस स्क्रिप्ट को एक विशेष निर्देशिका में ले जाएँ:

 $ mv backup.sh /etc/cron.daily/50_sbackup 

उसके बाद, क्रोन स्वचालित रूप से दिन में एक बार संग्रह स्क्रिप्ट चलाएगा।

डाटा कैसे रिकवर करें?

यदि ऐसा हुआ है कि आपको बैकअप से डेटा प्राप्त करने की आवश्यकता है, तो आप निम्न तरीके से ऐसा कर सकते हैं।

सबसे अधिक संभावना है कि आपने बैकअप फ़ाइलों को एक निजी कंटेनर में डाउनलोड किया है, वहाँ से फ़ाइल प्रबंधक वेब इंटरफ़ेस का उपयोग करके फ़ाइल को आसानी से डाउनलोड किया जा सकता है। लेकिन एक नियम के रूप में, फ़ाइल को सीधे सर्वर पर डाउनलोड करना या किसी अन्य व्यक्ति तक पहुंच प्रदान करना अधिक सुविधाजनक है। यह विशेष लिंक का उपयोग करके किया जा सकता है - यह आपको सर्वर पर फ़ाइल को सुरक्षित रूप से डाउनलोड करने या कंटेनर के प्रकार को सार्वजनिक रूप से बदलने के बिना किसी और को स्थानांतरित करने की अनुमति देगा।

ऐसा करने के लिए, फ़ाइल प्रबंधक के वेब इंटरफ़ेस में हमें वांछित फ़ाइल मिलती है, इसके दाईं ओर संचालन आइकन पर क्लिक करें (यह एक गियर जैसा दिखता है) और "ओपन एक्सेस" आइटम का चयन करें:


एक लिंक के लिए, आप कार्रवाई की अवधि, फ़ाइल के डाउनलोड की संख्या और, यदि वांछित हो, तो एक पासवर्ड सेट कर सकते हैं:



लिंक बनाने के बाद, आपको एक लिंक प्राप्त होगा जिस पर क्लिक करके आप फ़ाइल डाउनलोड कर सकते हैं। लिंक स्वयं "लिंक" कंटेनर में संग्रहीत किया जाएगा, जहां आप एक बार फिर से डाउनलोड लिंक को झांक सकते हैं।

सर्वर पर बैकअप फ़ाइल डाउनलोड करने के बाद, आपको डेटा को अनपैक करने की आवश्यकता है:

 $ mkdir backup_files #       backup_files $ tar xvf backupname_2013-01-26_08h40m.tar.bz2 -C backup_files/ #   (       ) $ bzcat mysql_backupname_ALL_2013-01-26_08h40m.bz2 | mysql 

अधिक परिष्कृत बैकअप स्क्रिप्ट

स्क्रिप्ट "सैकअप" की काफी सीमित कार्यक्षमता है और कुछ मामलों में यह पर्याप्त नहीं हो सकती है। लेकिन, अपनी आवश्यकताओं को पूरा करने के लिए इसे हमेशा संशोधित किया जा सकता है।

अक्सर, कुछ प्रकार के स्वचालित बैकअप सिस्टम पहले से ही सर्वर पर उपयोग किए जाते हैं, कुछ सीएमएस या कंट्रोल सिस्टम आपको डेटा संग्रह बनाने और कॉन्फ़िगर करने की अनुमति देते हैं। आप इस तरह के "रेडी-मेड" सिस्टम का उपयोग कर सकते हैं और उन्हें क्लाउड स्टोरेज में आर्काइव डेटा अपलोड करने का तरीका सिखा सकते हैं। यदि सिस्टम पूरा होने के बाद बाहरी स्क्रिप्ट के निष्पादन के लिए प्रदान करता है, तो इसका उपयोग "अधिभार" उपयोगिता का उपयोग करके डेटा लोड करने के लिए किया जा सकता है।

"अधिभार" का उपयोग

Supload ( GitHub ) विशेष रूप से Selectel रिपॉजिटरी में अपलोडिंग फ़ाइलों को सरल बनाने के लिए बनाई गई एक उपयोगिता है। यह बैश में लिखा गया है और "मानक" उपयोगिताओं का उपयोग करता है जो लगभग किसी भी मूल लिनक्स सिस्टम पर स्थापित होते हैं, इसलिए यह स्क्रिप्ट डाउनलोड करने के लिए पर्याप्त होगा और यह तुरंत काम करेगा।

उपयोगिता विशेषताएं:

• रिपॉजिटरी में एक स्थानीय फ़ाइल अपलोड करना;
• निर्दिष्ट फ़ोल्डर और सबफ़ोल्डर्स में सभी फ़ाइलों का पुनरावर्ती डाउनलोड;
• चेकसम की जाँच करके फ़ाइल डाउनलोड की गारंटी
• केवल परिवर्तित और नई फ़ाइलें डाउनलोड करें;
• रिपॉजिटरी में ऑटो-डिलीट फाइल्स सेट करना।

एक बार फिर स्थापना के बारे में:

 $ wget https://raw.github.com/selectel/supload/master/supload.sh $ mv supload.sh /usr/local/bin/supload $ chmod +x /usr/local/bin/supload 

भंडारण के "फाइल" कंटेनर में एक स्थानीय फ़ाइल "my.doc" अपलोड करना (कंटेनर अग्रिम में बनाया जाना चाहिए):

 $ supload -u USERNAME -k USERKEY files my.doc 

आप कंटेनर के अंदर वांछित फ़ोल्डर में भी अपलोड कर सकते हैं:

 $ supload -u USERNAME -k USERKEY files/docs/ my.doc 

इस मामले में, फ़ाइल को डाउनलोड करने से पहले, इसके चेकसम (एमडी 5) की गणना की जाती है और डाउनलोड तभी सफल माना जाता है जब चेकसम से मेल खाता हो।

किसी विशिष्ट फ़ोल्डर से सभी फ़ाइलों को डाउनलोड करने के लिए, -r विकल्प का उपयोग करें:

 $ supload -u USRNAME -k USERKEY -r files local/docs/ 

प्रत्येक अपलोड की गई फ़ाइल के लिए, एक चेकसम नियंत्रण भी किया जाएगा।

चेकसम की जाँच करना एक और अतिरिक्त अवसर प्रदान करता है - यदि आप फिर से उपयोगिता चलाते हैं, यानी डेटा पहले से ही स्टोरेज में है और चेकसम से मेल खाता है, तो फ़ाइल छोड़ दी जाती है। इसे केवल नई या बदली गई फ़ाइलों को अपलोड करने की अनुमति है।

भंडारण फ़ाइलों को स्वचालित हटाने का समर्थन करता है, "सुपलोड" आपको यह निर्दिष्ट करने की अनुमति देता है कि फ़ाइल को संग्रहीत करने में कितना समय लगता है:

 $ supload -u USERNAME -k USERKEY -d 7d files my.doc 

-D विकल्प मिनटों (एम), घंटों (एच) या दिनों (डी) में किस समय के बाद इंगित करता है कि वॉल्ट स्वचालित रूप से फ़ाइल को हटा देगा। यह विकल्प पुनरावर्ती फ़ाइल अपलोड के साथ भी काम करता है। यदि फ़ाइल पहले ही डाउनलोड हो चुकी है, तो कमांड को फिर से शुरू करने से फ़ाइल स्टोरेज अवधि में पहले से सेट (या बिल्कुल निर्दिष्ट नहीं) नहीं बदलता है।

इस संपत्ति का उपयोग दिलचस्प रूप से किया जा सकता है - मान लीजिए कि आपकी संग्रह प्रणाली / var / बैकअप / साइट / फ़ोल्डर में बैकअप फ़ाइलें डालती है और एक निश्चित अवधि के बाद फ़ाइलों के विलोपन को नियंत्रित करती है। आप उदाहरण के लिए, सीमित फ़ाइल समय के साथ सभी फ़ाइलों को डाउनलोड करने के लिए "सुपर लोड" के आवधिक लॉन्च को कॉन्फ़िगर कर सकते हैं:

 $ supload -u USERNAME -k USERKEY -d 31d -r backups /var/backups/sites 

फिर प्रत्येक नई डाउनलोड की गई बैकअप फ़ाइल को स्टोरेज में 31 दिनों के लिए स्टोर किया जाएगा, और पहले से डाउनलोड किए गए बैकअप के लिए, उनकी स्टोरेज अवधि धीरे-धीरे कम हो जाएगी और वे अपने डाउनलोड के क्षण से 31 दिनों के बाद स्वचालित रूप से हटा दिए जाएंगे। इस तरह की योजना को सही ढंग से काम करने के लिए, आपके संग्रह सिस्टम में सुपर लोड में निर्दिष्ट फ़ाइल विलोपन का समय होना चाहिए, अन्यथा पुरानी फाइलें फिर से लोड की जा सकती हैं।

अधिभार उपयोगिता अच्छी तरह से मैनुअल फ़ाइल अपलोड और संग्रह प्रणाली स्क्रिप्ट में उपयोग के लिए दोनों के लिए अनुकूल है। केवल सीमा एक अपलोड की गई फ़ाइल का अधिकतम आकार 5 जीबी है।

बड़ी फाइल डाउनलोड करें

भंडारण में 5 जीबी से बड़ी फ़ाइलों को डाउनलोड करने के लिए, आपको एक विशेष अपलोड विधि - सेगमेंट द्वारा अपलोड करने की आवश्यकता है। इस स्थिति में, फ़ाइल को वर्चुअल भागों में विभाजित किया जाता है और अलग से लोड किया जाता है। इस तरह की फ़ाइल को डाउनलोड करने से "पारदर्शी रूप से" एक पूरी फ़ाइल के रूप में होता है, स्टोरेज की तरफ "ग्लूइंग" सेगमेंट किसी का ध्यान नहीं जाता है।

पायथन-स्विफ्टक्लिंट उन उपयोगिताओं में से एक है जो आपको खंडों द्वारा फाइलें अपलोड करने की अनुमति देता है। आप निम्नानुसार डाउनलोड कर सकते हैं:

 $ swift upload container -S 1073741824 large_file 

इस मामले में, फ़ाइल "फ्लाई पर" 1 जीबी के खंडों में विभाजित होगी और रिपॉजिटरी में अपलोड की जाएगी। -S विकल्प बाइट्स में एक सेगमेंट के आकार को इंगित करता है, अधिकतम सेगमेंट का आकार 5 जीबी (5368709120 बाइट्स) है।

इस पोस्ट को हमारे ब्लॉग पर लिंक करें।