🚴🏼 🤟 ☁️ स्टैंडअलोन के लिए बैकअप * NIX सर्वर। TimeMachine का अनुकरण करें 🌍 🧝🏻 ✊🏻

मुझे लगता है कि इनमें से किसी को भी बैकअप के महत्व को समझाने की आवश्यकता नहीं है।
समस्या यह है कि दर्जनों तैयार किए गए समाधानों में से, उनमें से कोई भी वास्तव में टकराव पर स्टैंडअलोन * एनआईएक्स सर्वर की मेरी आवश्यकताओं को पूरा नहीं करता है।
आप बैकअप से क्या चाहते थे?
1) सभी डेटा का दैनिक पूर्ण bakap। कोई वृद्धिशील रुपये नहीं।
2) एकल फ़ाइल की सबसे तेज रिकवरी। अभिलेखागार (टार / गज़िप / बज़िप 2 / आरएआर) गायब हो जाते हैं
3) त्वरित निगरानी "जिन्होंने कल 156GB सर्वर को अपलोड किया है?"
4) जब तक मेरे पास डिस्क पर पर्याप्त खाली जगह है, मैं बैकअप प्रतियां रखना चाहता हूं।
5) अगर मैं डिस्क स्थान अभी भी बाहर चलाता है तो पुरानी प्रतियों को मैन्युअल रूप से हटाने के बारे में चिंता नहीं करना चाहता
संक्षेप में - मैं एक लिनक्स सर्वर पर MAC OS TimeMachine कार्यक्षमता को लागू करना चाहता था।
और मैंने एक स्क्रिप्ट लिखना शुरू कर दिया।
आप शायद पहले से ही अनुमान लगा चुके हैं कि TimeMachine का आधार cp -al + rsync का संयोजन है
उंगलियों पर, यह कुछ इस तरह दिखता है:
cp -al _backup _backup
आज हार्डलिंक के साथ कल की फाइलों की नकल करेगा। ऐसी प्रतिलिपि लगभग वास्तविक डिस्क स्थान नहीं लेती है। फिर शुरू होता है
rsync -a --del _backup
यह कल के बैकअप की प्रतिलिपि के बीच के अंतरों को स्कैन करेगा और यदि यह अंतर पाता है, तो यह हार्डलिंक को हटा देगा और फ़ाइल के नए संस्करण को लिख देगा; नई फ़ाइलें और निर्देशिका बनाएं / कॉपी करें; गैर-मौजूद अधिक फ़ाइलों को हटा देगा। इस स्थिति में, कल के बैकअप की सभी फाइलें अपने स्थानों पर रहेंगी।
यह स्पष्ट है कि एक सामान्य वर्किंग बैकअप स्क्रिप्ट बनाने के लिए ये दोनों कमांड पर्याप्त नहीं हैं। मैंने 2 फ़ाइलों में एक स्क्रिप्ट लिखने का फैसला किया - सभी सर्वरों के लिए एक मानक कार्यों के एक सेट के साथ, दूसरा - प्रत्येक सर्वर के लिए एक छोटा, व्यक्तिगत, जो क्रोन के माध्यम से सीधे चलता है।

तो, ये स्क्रिप्ट: ( यहाँ से डाउनलोड की जा सकती हैं )
backup_functions.sh

 #!/bin/sh export LC_ALL=en_US.utf8 DIR_PATTERN='20..-..-..' CURR_DATE=`date +%F` #CURR_DATE=`date +%F_%R` RESERVE_G=5 BACKUP_MAIN_DIR='/backup' BACKUP_TMP_DIR='/tmp' BACKUP_DELTA=$BACKUP_TMP_DIR/backup.delta BACKUP_ERRORS=$BACKUP_TMP_DIR/backup.err BACKUP_REPORT=$BACKUP_TMP_DIR/backup.report BACKUP_LOG_FACILITY='user.notice' BACKUP_EXPIRES_DAYS=0 VERIFY_BACKUP_MOUNTED='no' PID_FILE='/var/run/backup.pid' BACKUP_MYSQL_DIR=$BACKUP_TMP_DIR/mysql_dump MYSQL_DATA_DIR='/var/lib/mysql' [ -z "`which rsync`" ] && { echo "RSYNC is not installed! backup will not work!"; exit; } [ -n "`which ionice`" ] && IONICE_CMD='ionice -c2 -n6' touch /etc/default/backup_exclude rm $BACKUP_DELTA $BACKUP_ERRORS $BACKUP_REPORT 1>/dev/null 2>/dev/null verify_backup_mounted() { mount -a [ -d "$BACKUP_MAIN_DIR" ] || { echo "BACKUP main directory does not exist!"; exit; } str=`df "$BACKUP_MAIN_DIR" | tail -1 | grep ' /$'` [ "$str" ] && { echo 'BACKUP partition is not mounted!!!!!!!!'; exit; } return 0 } prepare_for_backup() { if [ -s "$PID_FILE" ] && [ `cat "$PID_FILE"` -ne $PPID ] then if [ "`ps ax | awk '{print $1;}' | grep -f \"$PID_FILE\"`" ] then echo -n "Previous BACKUP script is still running. PID = "; cat "$PID_FILE"; exit else logger -t BACKUP -p $BACKUP_LOG_FACILITY "Previous BACKUP ended unexpectly" fi fi rm "$PID_FILE" 1>/dev/null 2>/dev/null echo $PPID > "$PID_FILE" old_dir=`pwd` cd "$BACKUP_MAIN_DIR" || { echo "BACKUP main directory does not exist!"; exit; } VERIFY_BACKUP_MOUNTED=`echo "$VERIFY_BACKUP_MOUNTED" | tr 'AZ' 'a-z'` [ "$VERIFY_BACKUP_MOUNTED" = "yes" ] && verify_backup_mounted reserve_k=$(($RESERVE_G * 1048576)) mkdir -p $BACKUP_TMP_DIR 1>/dev/null 2>/dev/null dirs_list=`ls | grep $DIR_PATTERN | sort` if [ -n "$dirs_list" ] then while { free_k=`df -k .|grep -v Filesystem| sed -e "s/.\+ \([0-9]\+\) .\+/\1/"` dirs_list=`ls | grep $DIR_PATTERN | sort` free_pre=$free_k [ $free_pre -lt $reserve_k ] ; } do dir_oldest=`echo $dirs_list | tr " " "\n" | head -1` [ -d $dir_oldest ] && { logger -t BACKUP -p $BACKUP_LOG_FACILITY "Deleting old backup in $BACKUP_MAIN_DIR/$dir_oldest" ; rm -rf $dir_oldest; } done fi [ "$VERIFY_BACKUP_MOUNTED" = "yes" ] && verify_backup_mounted last_date=`ls | grep $DIR_PATTERN | sort | tail -1` if [ -n "$last_date" -a \( "$CURR_DATE" != "$last_date" \) ] then logger -t BACKUP -p $BACKUP_LOG_FACILITY "Preparing. Copying $BACKUP_MAIN_DIR/$last_date -> $BACKUP_MAIN_DIR/$CURR_DATE" mkdir $CURR_DATE 1>/dev/null 2>/dev/null $IONICE_CMD cp -al "$last_date"/* $CURR_DATE 1>/dev/null 2>/dev/null rm -rf $CURR_DATE/_delta 1>/dev/null 2>/dev/null fi mkdir $CURR_DATE/_delta 1>/dev/null 2>/dev/null if [ $BACKUP_EXPIRES_DAYS -gt 0 ] then for expired_dir in `find "$BACKUP_MAIN_DIR" -maxdepth 1 -mtime +$BACKUP_EXPIRES_DAYS -type d | grep "$DIR_PATTERN"` do logger -t BACKUP -p $BACKUP_LOG_FACILITY "Deleting expired backup $expired_dir" ; rm -rf $expired_dir; done fi cd $old_dir return 0 } make_backup() { while [ -n "$1" ] do [ "$VERIFY_BACKUP_MOUNTED" = "yes" ] && verify_backup_mounted src=$1 full_src=`echo $PWD/$1 | sed -e 's://:/:g'` dst=`echo $BACKUP_MAIN_DIR/$CURR_DATE/$src | sed -e "s/\/\w\+$//"` mkdir -p $dst 1>/dev/null 2>/dev/null logger -t BACKUP -p $BACKUP_LOG_FACILITY "$full_src started" $IONICE_CMD rsync -axW8 --del --exclude-from=/etc/default/backup_exclude $src $dst 2>>$BACKUP_ERRORS sync shift done return 0 } make_backup_with_delta() { while [ -n "$1" ] do [ "$VERIFY_BACKUP_MOUNTED" = "yes" ] && verify_backup_mounted src=$1 full_src=`echo $PWD/$1 | sed -e 's://:/:g'` dst=`echo $BACKUP_MAIN_DIR/$CURR_DATE/$src | sed -e "s/\/\w\+$//"` mkdir -p $dst 1>/dev/null 2>/dev/null rm $BACKUP_DELTA 1>/dev/null 2>/dev/null logger -t BACKUP -p $BACKUP_LOG_FACILITY "$full_src (with delta) started" $IONICE_CMD rsync -axW8i --del $src $dst --exclude-from=/etc/default/backup_exclude 2>>$BACKUP_ERRORS | grep "^>f" | cut -d ' ' -f 2- 1>$BACKUP_DELTA old_dir=`pwd` cd $BACKUP_MAIN_DIR/$CURR_DATE dst=`echo $src | sed -e "s/\w\+$//"` xargs -a $BACKUP_DELTA -r -n5 -d '\n' -I '{}' echo $dst{} | xargs -r -n10 -d '\n' cp -ul --parents -t _delta rm $BACKUP_DELTA 1>/dev/null 2>/dev/null cd $old_dir sync shift done return 0 } send_email_report() { if [ -s $BACKUP_ERRORS ] then logger -t BACKUP -p $BACKUP_LOG_FACILITY "Sending email report" echo 'Content-type: text/plain; charset=utf-8' >> $BACKUP_REPORT echo 'Content-Transfer-Encoding: 8bit' >> $BACKUP_REPORT echo 'From: root@'`hostname --fqdn` >> $BACKUP_REPORT echo 'To: root' >> $BACKUP_REPORT echo 'Date:' `date` >> $BACKUP_REPORT echo -e 'Subject: Cron <root@'`hostname --fqdn`'> BACKUP\n\n' >> $BACKUP_REPORT cat $BACKUP_ERRORS >> $BACKUP_REPORT cat $BACKUP_REPORT | sendmail root fi rm $BACKUP_DELTA $BACKUP_ERRORS $BACKUP_REPORT $PID_FILE 1>/dev/null 2>/dev/null logger -t BACKUP -p $BACKUP_LOG_FACILITY "Finished" return 0 } make_mysql_backup() { MYSQL_DATA_DIR='/var/lib/mysql' mkdir $BACKUP_MAIN_DIR/$CURR_DATE/MySQL 1>/dev/null 2>/dev/null rm -rf $BACKUP_MAIN_DIR/$CURR_DATE/MySQL/* 1>/dev/null 2>/dev/null rm -rf $BACKUP_MYSQL_DIR 1>/dev/null 2>/dev/null mkdir -p $BACKUP_MYSQL_DIR 1>/dev/null 2>/dev/null cd $MYSQL_DATA_DIR logger -t BACKUP -p $BACKUP_LOG_FACILITY "MySQL started" for db_dir in `ls -p | grep '/' | tr -d '/'` do cd $MYSQL_DATA_DIR/$db_dir db_name=`echo $db_dir | sed -e 's/@003d/=/g' -e 's/@002d/-/g'` logger -t BACKUP -p $BACKUP_LOG_FACILITY "MySQL database '$db_name' started" for table in `ls | grep '.frm' | sed -e 's/\.frm//' -e 's/ /:::/g'` do table=`echo $table | sed -e 's/:::/ /g' -e 's/@003d/=/g' -e 's/@002d/-/g'` mysqldump $db_name "$table" --skip-lock-tables -Q -u $mysql_user -p$mysql_pass > "$BACKUP_MYSQL_DIR/$table.sql" done cd $BACKUP_MYSQL_DIR tar czf $BACKUP_MAIN_DIR/$CURR_DATE/MySQL/$db_name.tar.gz * 1>/dev/null 2>/dev/null rm $BACKUP_MYSQL_DIR/* 1>/dev/null 2>/dev/null done return 0 }

और backup.sh :

 #!/bin/sh . /usr/local/sbin/backup_functions.sh BACKUP_EXPIRES_DAYS=365 #  30 RESERVE_G=30 BACKUP_MAIN_DIR='/backup' VERIFY_BACKUP_MOUNTED='yes' prepare_for_backup cd / make_backup etc boot home root opt srv usr/local make_backup_with_delta var/spool var/lib var/www BACKUP_MAIN_DIR='/backup' mysql_user='root' mysql_pass='jndey7hdFdfii7HN6ygdrarUh' make_mysql_backup send_email_report

Backup_functions.sh को / usr / स्थानीय / sbin में स्थित माना जाता है। यदि एक अलग निर्देशिका में - backup.sh में इसी लाइन को सही करें
जैसा कि आप देख सकते हैं, स्क्रिप्ट बहुतायत से वैश्विक चर का उपयोग करती है। उदाहरण के लिए
RESERVE_G - रिजर्व (गीगाबाइट में) जो स्क्रिप्ट आज का बैकअप शुरू करने से पहले सबसे पुरानी प्रतियों को हटाकर प्रदान करेगा
BACKUP_EXPIRES_DAYS - पुराने बैकअप को हटाने के लिए कितने दिनों के बाद भी भले ही डिस्क स्थान हो। यदि BACKUP_EXPIRES_DAYS == 0 तो ऐसा नहीं किया जाता है।
BACKUP_MAIN_DIR - वह निर्देशिका जिसमें बैकअप लिखा गया है। अंदर, "2011-11-15" जैसे फ़ोल्डर बनाए जाते हैं, जहां बैकअप लिखा जाता है।
VERIFY_BACKUP_MOEDED - चेक करें या जांचें कि बैकअप के तहत एक अलग डिस्क विभाजन माउंट है या नहीं। यह समझा जाना चाहिए कि यदि चयनित विभाजन किसी कारण से अनमाउंट किया गया है, तो इस चेक के बिना बैकअप रूटफुट या डिस्क के किसी अन्य विभाजन पर भारी पड़ेगा जो इसके लिए उपयुक्त नहीं है। हालाँकि, ऐसी स्थितियाँ हैं जब बैकअप स्पष्ट रूप से और विशेष रूप से विशेष रूप से रूटफ़्स या किसी अन्य गैर-विशिष्ट विभाजन के लिए लिखा जाता है। फिर आपको निर्दिष्ट करने की आवश्यकता है
VERIFY_BACKUP_MOUNTED = "नहीं"
लघु बैकअप। एस स्क्रिप्ट, जो पहले से ही क्रोन द्वारा सीधे चलाया जा सकता है, कई स्व-निर्मित कार्यों को कॉल करता है, अर्थात्:
ready_for_backup - फ़ंक्शन सीधे कॉपी करने से पहले सब कुछ तैयार करता है। मोटे तौर पर, वह यह देखने के लिए कि क्या मुफ्त डिस्क स्थान बाहर चला गया है, वह सभी प्रकार की जाँच करता है।
make_backup (मापदंडों के साथ) - फ़ंक्शन वास्तव में एक प्रतिलिपि बनाता है
make_backup_with_delta (समान मापदंडों के साथ) - फ़ंक्शन एक प्रति बनाता है और वैकल्पिक रूप से सभी नई फ़ाइलों को हार्डलिंक निर्देशिका 2011-11-15 / _delta में विलय कर देता है । इस निर्देशिका को देखते हुए, आप जल्दी और आसानी से पता लगा सकते हैं कि कल सर्वर पर 156GB किसने अपलोड किया है।
send_email_report - फ़ंक्शन बैकअप के दौरान व्यवस्थापक को त्रुटियों (यदि कोई हो) के साथ एक ई-मेल भेजता है।
फ़ाइलों का बैकअप लेने के अलावा, मैंने अपेंडेज में MySQL के लिए एक बैकअप फ़ंक्शन भी लिखा।
make_mysql_backup - फ़ंक्शन को मापदंडों के बिना कहा जाता है, तालिका को mysqldump (यानी एक तालिका - एक .sql फ़ाइल) बनाता है, फिर यह प्रत्येक डेटाबेस की .sql फ़ाइलों को db.name.tar.gz में पैक करता है।

चादर के लिए क्षमा करें। मुझे उम्मीद है कि कोई काम आएगा।

अद्यतन: यदि आप दिन में एक से अधिक बार बैकअप बनाना चाहते हैं - तो backup_functions.sh की पहली पंक्तियों में लाइन को प्रतिस्थापित करें
CURR_DATE = `तिथि +% F`
पर
CURR_DATE = `तिथि +% F_% R`

यदि rsync स्थापित नहीं है, तो स्क्रिप्ट संबंधित संदेश के साथ बाधित है।
यदि आयनिस स्थापित किया गया है, तो rsync को कम io प्राथमिकता के साथ लॉन्च किया जाएगा (मापदंडों को लाइन में बदला जा सकता है
[-n "` जो आयनिस '"&& IONICE_CMD =' आयनिस -c2 -n6 '

स्टैंडअलोन के लिए बैकअप * NIX सर्वर। TimeMachine का अनुकरण करें

More articles: