अमेज़न S3 पर वृद्धिशील बैकअप का तेजी से कार्यान्वयन

क्लाउड में साझा होस्टिंग से वर्चुअल सर्वर पर मेरी साइट को स्थानांतरित करने के बाद, डेटा संग्रह के बारे में सवाल उठता है: यदि होस्टर दैनिक बैकअप के बारे में चिंतित था, तो अब ये चिंताएं पूरी तरह से प्रशासक द्वारा वहन की गई हैं। चूंकि आपके सर्वर पर बड़े अभिलेखागार को संग्रहीत करना न केवल असुरक्षित है, बल्कि (कभी-कभी) महंगा भी है, इसलिए अमेज़ॅन की S3 सेवा में फ़ाइलों के थोक को कॉपी करने का निर्णय लिया गया था। बिल्ली के नीचे, वृद्धिशील बैकअप को लागू करने का मेरा तरीका वर्णित है। विधि काफी न्युबियन है, लेकिन जो लोग इसे बिना किसी कठिनाई के दोहराना चाहते हैं वे अपनी आवश्यकताओं के अनुरूप उन्हें ठीक करने के तरीके पाएंगे।

सबसे पहले, कार्यों पर निर्णय लेते हैं

हमें चाहिए:
1. वेब सर्वर (साइट निर्देशिका और डेटाबेस) के दैनिक अभिलेखागार बनाएं। अंतिम महीने के लिए अभिलेखागार रखना आवश्यक है।
2. वृद्धिशील अभिलेखागार बनाएं - डिस्क स्थान को बचाने के लिए। एक पूर्ण संग्रह साप्ताहिक करें, फिर संशोधित फ़ाइलों के 6 अभिलेखागार, फिर चक्र दोहराएं।
3. किसी तृतीय-पक्ष सर्वर (अमेज़ॅन S3) पर संग्रह की प्रतियां। स्थानीय सर्वर पर हम एक सप्ताह के लिए संग्रह छोड़ देंगे, बाकी अभिलेखागार केवल सर्वर पर मौजूद होंगे।
मेरा सर्वर डेबियन चल रहा है, अन्य ऑपरेटिंग सिस्टम के लिए, आपको इंस्टॉलेशन कमांड और फ़ाइल पथ के लिए उपयुक्त सुधार करने की आवश्यकता हो सकती है।

आवश्यक घटक

backupninja : कार्यक्रम अन्य उपयोगिताओं के लिए एक सुविधाजनक आवरण के रूप में कार्य करता है, आपको अभिलेखीय प्रक्रिया को केंद्रीय रूप से प्रबंधित करने की अनुमति देता है।
स्थापना: apt-get इंस्टॉल बैकअप

दोहराव : वृद्धिशील बैकअप बनाने के लिए उपयोगिता। दूरस्थ सर्वर के साथ काम करने में सक्षम।
स्थापना: apt-get install द्वैधता

boto : Amazon Web Services API AWS S3 को सीधे संग्रह करने के लिए द्वैधता द्वारा उपयोग किया जाता है
स्थापना: apt-get install अजगर-बोटो

s3cmd : कमांड लाइन से Amazon S3 सेवा के साथ काम करने की उपयोगिता।
स्थापना: apt-get install s3cmd

कार्यान्वयन

आपको AWS के लिए पंजीकरण करके शुरू करना होगा। प्रक्रिया किसी भी कठिनाइयों को पेश नहीं करती है, अमेज़ॅन एस 3 में फास्ट बैकअप कार्यान्वयन विषय में मैक्सआउट अच्छी तरह से वर्णित है। उरुइपिन्स्क में, सर्बबैंक की स्थानीय शाखा के मानचित्र के साथ एक धमाके के साथ पंजीकरण बंद हो गया, जिसका अर्थ है कि अन्य शहरों और गांवों में कोई समस्या नहीं होगी।

अगला, backupninja कॉन्फ़िगर करें। कार्यक्रम की मुख्य कॉन्फ़िगरेशन फ़ाइल /etc/backupninja.conf है। फ़ाइल में सभी विकल्प स्पष्ट हैं, उन्हें यहां लाने का कोई मतलब नहीं है। जब तक आप लॉगिंग का स्तर (सूचना को डीबग करने की जानकारी के लिए घातक) और व्यवस्थापक के मेल पर भेजे गए पूर्ण कार्यों पर रिपोर्ट की रचना को कॉन्फ़िगर नहीं करते हैं, तब तक आपको सबसे सरल मामले में, वहां कुछ भी बदलने की आवश्यकता नहीं है।

Backupninja /etc/backup.d निर्देशिका (डिफ़ॉल्ट रूप से) में अलग-अलग फ़ाइलों में प्रत्येक व्यक्तिगत नौकरी के लिए सेटिंग्स संग्रहीत करता है। फ़ाइल का नाम एक संख्यात्मक उपसर्ग से पहले है जो उस क्रम को निर्दिष्ट करता है जिसमें नौकरी चलती है। एक उपसर्ग के बिना और 0 के उपसर्ग के साथ फाइलों में नौकरियां निष्पादित नहीं की जाएंगी। समान उपसर्ग वाली फाइलों में नौकरियों को समानांतर में निष्पादित किया जाएगा, प्रत्येक कार्य जो पिछले एक से बड़ा उपसर्ग के साथ होता है, एक छोटे उपसर्ग के साथ नौकरियों के पूरा होने के बाद निष्पादित किया जाएगा। इस तरह, हम कार्यों के अनुक्रम को नियंत्रित करने के लिए, फ़ाइल उपसर्ग सेट करके, सक्षम हैं।

उपसर्ग के अलावा, कार्य फ़ाइलों में कार्य के प्रकार के अनुरूप एक्सटेंशन होना चाहिए।

Backupninja में निंजाहेल्पर जॉब कॉन्फ़िगरेशन को कॉन्फ़िगर करने और परीक्षण करने के लिए एक शेल है। यह मुझे लगता है कि टेक्स्ट एडिटर में कार्य बनाना और संपादित करना अधिक सुविधाजनक है, और शेल से परीक्षण करना।

तो, डेटाबेस बैकअप नौकरी के लिए कॉन्फ़िगरेशन फ़ाइल। मैं डेटाबेस को दो चरणों में संग्रहीत करता हूं: सबसे पहले, मैं सभी डेटाबेस को डंप करता हूं, फिर डंप से मैं वृद्धिशील अभिलेखागार बनाता हूं। चरण एक, फ़ाइल 20-all.mysql (मैंने / usr / share / docs / backupninja / उदाहरणों से फ़ाइलों के रिक्त स्थान को कॉपी किया और उनके लिए आवश्यक परिवर्तन किए)

  ### backupninja MySQL config फाइल ###

 # हॉटकॉपी = <हां |  नहीं> (डिफ़ॉल्ट = नहीं)
 # mysqlhotcopy का उपयोग करके वास्तविक डेटाबेस बाइनरी फ़ाइलों का बैकअप बनाएं।
 हॉटकॉपी = नहीं

 # sqldump = <हाँ |  नहीं> (डिफ़ॉल्ट = नहीं)
 # mysqldump का उपयोग करके एक बैकअप बनाएं।  यह sql कमांड के साथ टेक्स्ट फाइल बनाता है
 # डेटाबेस को फिर से बनाने के लिए पर्याप्त है।
 #
 वर्गफल = हाँ

 # sqldumpoptions = <विकल्प>
 # - (डिफ़ॉल्ट = --lock-tables - अपूर्ण-सम्मिलित --add-drop-table --quick --quote-na
 # mysqldump को पास करने के लिए तर्क
 # sqldumpoptions = --add-drop-table --quick --quote-names

 # सेक = <हां |  नहीं> (डिफ़ॉल्ट = हाँ)
 # यदि हाँ, तो sqldump आउटपुट को संपीड़ित करें।
 संकुचित करना = हाँ

 # dbhost = <host> (डिफ़ॉल्ट = स्थानीय होस्ट)

 # backupdir = <dir> (डिफ़ॉल्ट: / var / backups / mysql)
 # जहां बैकअप डंप करने के लिए।  हॉटकॉपी बैकअप एक उपनिर्देशिका में होगा
 # 'हॉटकॉपी' और sqldump बैकअप एक उपनिर्देशिका 'sqldump' में होंगे
 backupdir = / home / backups / mysql

 # डेटाबेस = <सभी |  db1 db2 db3> (डिफ़ॉल्ट = सभी)
 # बैकअप के लिए कौन सा डेटाबेस।  या तो 'सब' शब्द होना चाहिए या ए
 # डेटाबेस के नामों की अंतरिक्ष अलग सूची।
 डेटाबेस = सभी

 उपयोगकर्ता = जड़ 

कॉन्फ़िगरेशन में, मैंने संकेत दिया कि:
- आपको mysqldump का उपयोग करके डंप करने की आवश्यकता है;
- डंप को संकुचित होना चाहिए;
- निर्देशिका / होम / बैकअप / mysql में संकुचित फ़ाइलों को बचाने के
- आपको सभी डेटाबेस का बैकअप लेना होगा

कार्य पूरा करने के बाद, gzip द्वारा संपीड़ित डेटाबेस नाम वाली फाइलें / होम / बैकअप / mysql निर्देशिका में दिखाई देंगी।

अगला कार्य डुप्लिकेट का उपयोग करके एक वृद्धिशील डेटाबेस संग्रह करना है, फ़ाइल 30-database.dup (मैं आपको केवल मेरे द्वारा बदले गए विकल्प देगा; आपको कॉन्फ़िगरेशन फ़ाइल को पूरी तरह से /usr/share/docs/backninja/examples/example.dup से कॉपी करने और परिवर्तन करने की आवश्यकता है उसे, अन्यथा कार्य पूरा नहीं होगा)

  ## नकल के लिए अतिरिक्त विकल्प
 ## मैं संग्रह को एन्क्रिप्ट नहीं करता, वॉल्यूम का आकार 512 मेगाबाइट तक बढ़ाता हूं, 
 ## डुप्लिकेट कैश के लिए पथ और नाम सेट करें
 Options = --no-एन्क्रिप्शन --volsize 512 --archive-dir / home / backups / दोहराव --name vds.d.dports

 ## अस्थायी निर्देशिका।  ध्यान दें कि backupninja डिस्क पर आवश्यक है 
 ## मुक्त स्थान वॉल्यूम के आकार से कम नहीं है
 tmpdir = / home / backups / tmp

 [स्रोत]
 ## हम बैकअप में क्या शामिल करते हैं।  आप कई स्रोतों को निर्दिष्ट कर सकते हैं, प्रत्येक पंक्ति में एक
 शामिल हैं = / घर / बैकअप / mysql / sqldump

 ## अगर आपको संग्रह से कुछ को बाहर करने की आवश्यकता है, तो हम यहां इंगित करते हैं
 #exclude =/www/urup.ru/sxd/backup

 [डेस्ट]
 ## वृद्धिशील बैकअप (यह डिफ़ॉल्ट मान है)
 incremental = हाँ

 ## पूर्ण बैकअप करने से पहले वृद्धिशील बैकअप करने के लिए कितने दिन हैं
 वेतन वृद्धि = 7

 ## बैकअप स्टोर करने के लिए कितने दिन हैं।  हम पिछले 7 दिनों के लिए स्थानीय सर्वर पर संग्रह संग्रहीत करते हैं।
 रखना = 7

 ## बैकअप कहां रखें।  दोहराव विभिन्न सेवाओं को बचा सकता है,
 ## AWS पर सीधे शामिल हैं, लेकिन हमें अभिलेखागार के भाग को संग्रहीत करने की आवश्यकता है
 ## लोकल ड्राइव, इसलिए हम अमेजन पर फाइल कॉपी करेंगे 
 ## एक अलग कार्य में
 desturl = फ़ाइल: /// होम / बैकअप / mysql 

एक बार फिर, मैं ध्यान देता हूं कि मैंने कॉन्फ़िगरेशन फ़ाइल की केवल परिवर्तित लाइनों का हवाला दिया है। कार्य करने के लिए कार्य करने के लिए, आपको कॉन्फ़िगरेशन को पूरी तरह से /usr/share/docs/backupninja/examples/example.dup से कॉपी करने और इस फ़ाइल में आवश्यक परिवर्तन करने की आवश्यकता है।

इसी तरह, हम वेब सर्वर की निर्देशिकाओं को संग्रहित करने के लिए कार्य करते हैं। संग्रह में शामिल करने के लिए कई स्रोतों और बहिष्करण के लिए कई स्रोतों को निर्दिष्ट करने की संभावना के बारे में मत भूलना, कॉन्फ़िगरेशन की एक पंक्ति। मैं प्रत्येक साइट को एक अलग कार्य में संग्रहीत करता हूं, प्रत्येक संग्रह को अलग-अलग निर्देशिका में साइट के नाम / होम / बैकअप / फाइलों / www / के साथ रखता हूं

अभिलेखागार बनाते समय, यदि यह आपके लिए महत्वपूर्ण है, तो आप GnuPG का उपयोग करके फ़ाइलों को एन्क्रिप्ट कर सकते हैं। इस स्थिति में, आपको --no-एन्क्रिप्शन विकल्प को हटाना होगा।

अंतिम कार्य AWS S3 सर्वर पर बनाई गई संग्रह फ़ाइलों की प्रतिलिपि बनाएगा। फ़ाइल को 50-upload.sh कहा जाता है और यह एक नियमित शेल स्क्रिप्ट है:

  #! / बिन / श

 # अमेज़ॅन पर प्रतियों के साथ अभिलेखागार की स्थानीय प्रतियों को सिंक्रनाइज़ करें
 s3cmd सिंक \
  --बकेट-स्थान = EU \
  --exclude 'sqldump / *' \
  / होम / बैकअप / फ़ाइलें \
  / होम / बैकअप / mysql \
  s3: //vds1.backup

 # अमेज़ॅन पर 30 दिनों से अधिक पुराने अभिलेख हटाएं
 डुप्लिकेटी .बैकअप / मायस्कल 

अमेज़ॅन सेवाओं के साथ सही ढंग से काम करने के लिए दोहराव के लिए, आपको बोटो को स्थापित और कॉन्फ़िगर करना होगा। कॉन्फ़िगरेशन को /etc/boto.cfg फ़ाइल में क्रेडेंशियल्स निर्दिष्ट करना है

  [साख]
 aws_access_key_id = *
 aws_secret_access_key = * 

अभिलेखागार से वसूली

संग्रह के बारे में जानकारी प्राप्त करें:

  द्वैधता - no-एन्क्रिप्शन - s3- उपयोग-नई-शैली संग्रह-स्थिति s3 + http: //vds1.backup/mysql 

स्थानीय संग्रह को अनपैक करें:

  द्वैधता - कोई एन्क्रिप्शन फ़ाइल: //// घर / बैकअप / mysql / घर / बैकअप / mysql / sqldump 

पहला पैरामीटर संग्रह URL है, दूसरा वह निर्देशिका है जिसमें फ़ाइलें अनपैक की जाएंगी। मौजूदा फ़ाइलों को तब तक अधिलेखित नहीं किया जाएगा जब तक --force विकल्प निर्दिष्ट नहीं किया जाता है

संग्रह को अमेज़ॅन सर्वर से अनपैक करें:

  द्वैधता - no-एन्क्रिप्शन - s3- उपयोग-नई शैली s3 + http: //vds1.backup/mysql / home / backups / mysql / sqldump 

हम आर्काइव से एक फाइल निकालते हैं।

  डुप्लिकेटी --no-एन्क्रिप्शन - फ़ाइले-टू-रिस्टोर होम / बैकअप / mysql / sqldump / mysql.sql.gz --force फ़ाइल: /// होम / बैकअप / mysql / होम / बैकअप / mysql / sqldump / mysql1। sql.gz 

फ़ाइल को अनपैक किया जाना - पूर्ण-सापेक्ष पथ (अग्रणी स्लैश के बिना) के साथ -फाइल-टू-रिस्टोर कुंजी द्वारा इंगित किया गया है। पहला पैरामीटर संग्रह URL है, दूसरा अनपैक्ड फ़ाइल का पूर्ण पथ है। यदि फ़ाइल पहले से मौजूद है, तो इसे ओवरराइट नहीं किया जाएगा, जब तक कि --force विकल्प निर्दिष्ट न हो