1000万のバックアップスクリプト

これは私が書いたバックアップスクリプトのマニュアル記事です。 このスクリプトは、Linux用のPythonで書かれています。 おもしろい人にはハブラカトの下でお願いします。

特徴

• フォルダーの差分/完全コピーを作成する
• BTRFSファイルシステムから差分/完全コピーを作成する
• LVMボリュームの差分/フルコピーを作成する
• BTRFSスナップショットの作成
• バックアップ/スナップショットのローテーション
• バックアップの進行状況を記録する
• メールアラート
• バックアップ前後のスクリプト作成

設置

/etc/apt/source.listに以下を追加します。

deb http://repo.nixdi.com/ubuntu/ precise soft 

そして、ターミナルで実行します：

 apt-key adv --recv-keys --keyserver keyserver.ubuntu.com 74C7B31B5F4E1715 && apt-get update && apt-get install py4backup 

パッケージは次のコマンドで更新されます。

 apt-get update && apt-get upgrade py4backup 

または
次のコマンドを使用して、パッケージを手動でダウンロードします。

 wget http://repo.nixdi.com/ubuntu/py4backup_latest.deb 

そしてそれをインストールします：

 dpkg -i ./py4backup_latest.deb 

または
Ubuntu / Debian以外のディストリビューションの場合：

 git clone https://github.com/larrabee/py4backup 

そして、dddファイルとpy4backupファイルをバイナリファイル（通常は/ usr / bin）が含まれるディレクトリ、py4backup_lib.pyファイルをpythonライブラリディレクトリにコピーします。 また、依存関係を手動で追加する必要があります。 python 3.x、btrfs-tools（btrfs-progs）、lvm2、rsyncが必要です。 examples /フォルダーには、構成ファイルの例があります。 / etc / py4backup /にコピーする必要があります

カスタマイズ

インストール後、サンプルから構成ファイルをコピーする必要があります。 これを行うには、次を実行します。

 mv /etc/py4backup/py4backup.conf.example /etc/py4backup/py4backup.conf mv /etc/py4backup/jobs.conf.example /etc/py4backup/jobs.conf 

そして、py4backup.confファイルを開いて、テキストエディターで編集します。
ブールパラメータの場合、True / False、yes / no、または1/0を使用できます。
パラメータをその値から分離するには、記号「=」または「：」を使用します。
各パラメーターは、独自のセクションにある必要があります。 セクション名は、角かっこ（ '[]'）で設定されたパラメーターの前に記述されます。
セクション内のパラメーターの順序は重要ではありません。 構成ファイルでパラメーターが指定されていない場合、標準値が使用されます。
設定ファイルの例：

 [MAIL] send_mail_reports = True login = login@test.com passwd = password sendto = recipient@test.com server = mail.test.com port = 25 tls = True [DD] bs = 4M ddd_bs = 4096 ddd_hash = md5 [LOGGING] logpath = /var/log/py4backup.log enable_logging = True log_with_time = True traceback = False command_output = True [OTHER] temp_snap_name = py4backup_temp_snap host_desc = My Description pathenv = /sbin:/usr/sbin 

パラメーターをさらに詳しく考えてみましょう。
[ MAIL ]：これは、電子メール通知設定が定義される場所です。
send_mail_reports：タスク完了後の電子メールレポートの送信を有効/無効にします。
login：smtpサーバーに入るためのログイン。
passwd：smtpサーバーに入るためのパスワード。
sendto：通知の受信者。 スペースを使用して複数のアドレスを入力できます。
server：smtpサーバーのドメイン名またはIPアドレス。
port：smtpサーバーのポート。
tls：TLS暗号化の使用を有効/無効にします。

[ DD ]：DDおよびDDDプログラムを使用してバックアップを作成するためのオプションをここに示します。
bs：DDプログラムのブロックサイズ（LVMボリュームの完全なコピーを作成するために使用）。 サイズは、バイト、キロバイト（k）、およびメガバイト（M）で指定できます。 コピーの作成速度に影響します。 最適値は32Mです。
ddd_bs：DDDプログラムのブロックサイズ（LVMボリュームの差分コピーの作成に使用）。 サイズはバイト単位で指定できます。 サイズが大きいほど、差分コピーに必要なスペースは増えますが、作成される速度は速くなります。 最適値は4096です。
ddd_hash：ブロックハッシュアルゴリズム。 md5、crc32、およびNoneから選択できます。 MD5はcrc32よりもプロセッサーを多くロードし、より多くのスペースを占有しますが、md5を使用する場合、衝突の可能性ははるかに低くなります。
なしは小切手の金額の作成を無効にします。 プロセッサのバックアップ時間、サイズ、および負荷は最小限ですが、バックアップが破損している場合、そのことはわかりません。 使用は推奨されていません。

[ロギング]：ジョブロギングを設定します。
logpath：ログへのパス。 非標準のログを使用する場合は、必ずlogrotate設定を変更してください。
enable_logging：ロギングを有効/無効にします。
log_with_time：各ログエントリへの日付と時刻の追加を有効/無効にします。
トレースバック：エラー発生時のログへのトレースバックの追加を有効/無効にします。 デバッグに役立ちます。
command_output：ログへのコンソール出力の追加を有効/無効にします。 デバッグに役立ちます。

[ OTHER ]：他のセクションに含まれていない設定。
temp_snap_name：一時スナップショットの名前。 BTRFSファイルシステムにLVMボリュームまたはフォルダー/ファイルのコピーを作成するときに使用されます。 不必要に変更しないことをお勧めします。
host_desc：ホストのテキスト説明。 このパラメーターの値は、ログファイルと電子メールレポートに追加されます。
pathenv：このパラメーターの値は、$ PATH変数に追加されます（検証に合格した場合）。 複数のフォルダーを追加する必要がある場合は、コロン（ '：'）で区切る必要があります。たとえば、Ubuntuでは、cronを介してpy4backupを実行するときにLVMボリュームのコピーを作成するには、$ PATH変数に/ sbinフォルダーを追加する必要があります。 この場合、パスは最後のスラッシュ（ '/'）なしで示されます

ミッション

一般的な情報

タスクのリストはファイル/etc/py4backup/jobs.confにあります
タスクの例：

 [mail-diff] type = file-diff sopath = server:/opt/ snpath = dpath = /mnt/backup_dest/ dayexp = 30 prescript = bash /root/script1.sh postscript = bash /root/script2.sh include = test test2 exclude = tests* 

どこで：
[xxx]：ジョブの一意の名前。
type：ジョブのタイプ。 以下の詳細を参照してください。
sopath：バックアップソース。 タイプfile-full、file-diffでは、リモートホストをソースとして指定できます。
snpath：スナップショットを作成する場所。 タイプbtrfs-full、btrfs-diff、およびbtrfs-snapでのみ使用
dpath：バックアップ先。 タイプbtrfs-full、btrfs-diff、file-full、file-diffでは、リモートホストを宛先として指定できます。
dayexp：古いバックアップを削除する日数。 -1に設定すると、バックアップは削除されません。
prescript：バックアップの前に実行されるスクリプト。 パイプ、パイプライン、およびその他のbash演算子は機能しません。 複雑なコマンドを実行する必要がある場合は、それらをスクリプトとして保存して実行します。
postscript：バックアップ後に実行されるスクリプト。 残りはprescriptパラメーターに似ています。
include：バックアップに含めるもの。 詳細については、バックアップタイプの説明を参照してください。
exclude：バックアップから除外するもの。 詳細については、バックアップタイプの説明を参照してください。
注意！ すべてのパスは「/」で終わる必要があります。

バックアップの種類

各ジョブで、typeパラメーターはバックアップのタイプを指定します。 このパラメーターは、カットパターンに影響します。 いくつかのパラメーターをコピーして機能させます。
py4backupには7種類のバックアップがあります。

• ファイルがいっぱい
• ファイル差分
• btrfs-full
• btrfs-diff
• btrfs-snap
• lvm-full
• lvm-diff

よく見てみましょう。

ファイルがいっぱい

rsyncを使用してバックアップします。 深くマウントされたすべてのフォルダーを含む、sopathで指定されたフォルダーのバックアップが作成されます。
機能：
変数sopathおよびdpathでは、ローカルフォルダーだけでなく、リモートホストも指定できます。 例：
sopath = root@192.168.0.1：/ home / admin /またはdpath = server：/ home / admin。 2番目のケースでは、〜/ .ssh / configファイルに有効なエントリが必要です。 鍵認証が使用されます（追加情報については、wikiの配布wikiを参照してください）。
sopathとdpathをリモートホストで同時に指定することはできません。
includeおよびexcludeで指定された値は、オプション--include =および--exclude =としてrsyncに渡されます。 複数の値をスペースで区切って指定できます。

ファイル差分

ソース（sopath）と宛先フォルダー（dpath）で見つかった最後の完全コピーから差分バックアップを作成します。 完全なコピーが見つからない場合、ジョブは失敗します。
パラメータのリストは、タイプ「file-full」に似ています。

btrfs-full

このタイプは「file-full」タイプに似ていますが、バックアップを作成する前に、予約ディレクトリのスナップショットが作成され、スナップショットからコピーがすでに取得されています。
このタイプのバックアップの場合、snpathパラメーターを指定する必要があります。 ソースフォルダー（sopath）の一時的なスナップショットは、snpathで指定されたフォルダーに作成されます。 さらに、そこで指定されたパスは、sopathで指定されたフォルダーと同じファイルシステム上にある必要があります。 このサブボリュームファイルシステムの内容のみがコピーされることに注意してください。 マウントされたすべてのフォルダーとサブボリュームは無視されます。 他のパラメーターのリストは、タイプ 'file-full'に似ています。

btrfs-diff

このタイプのカットで。 最初に、ソースフォルダー（sopath）からスナップショットが取得され、次にスナップショットと宛先フォルダー（dpath）で見つかった最後の完全コピーから差分コピーが作成されます。 完全なコピーが見つからない場合、ジョブは失敗します。
「btrfs-full」タイプと同様に、スナップショットフォルダー（snpath）がソースフォルダー（sopath）と同じファイルシステム上にある必要があります。
このサブボリュームファイルシステムの内容のみがコピーされることに注意してください。 マウントされたすべてのフォルダーとサブボリュームは無視されます。 他のパラメーターのリストは、「file-full」タイプに似ています

btrfs-snap

このタイプは、sopathで指定されたソースフォルダーからsnpathで指定されたスナップショットフォルダーへのスナップショットを作成します。
このタイプでは、exclude、include、dpathパラメーターは機能しません。 「btrfs-full」タイプの場合と同様に、スナップショットのフォルダー（snpath）がソースフォルダー（sopath）と同じファイルシステム上にある必要があります。
このサブボリュームファイルシステムの内容のみがコピーされることに注意してください。 マウントされたすべてのフォルダーとサブボリュームは無視されます。

lvm-full

このタイプは、LVMボリュームの完全なコピーを作成するように設計されています。 このタイプのいくつかの機能を検討してください。 sopathパラメーターは、論理ボリュームグループ（VG）へのパスを指定します。 例：
sopath = / dev / main_vg /
デフォルトでは、スクリプトはこのVGにあるすべてのボリュームのコピーを作成します。
dpathパラメーターは、バックアップ先を指定します。 バックアップ先としてリモートホストを指定することはできません。 必要なボリュームのみのコピーを作成するには、includeパラメーターとexcludeパラメーターを使用できます。
excludeパラメーターは、バックアップから除外するボリュームを指定します。 さらに、コードワードallを受け入れます。つまり、すべてのボリュームを除外する必要があります。
includeパラメーターは、バックアップに含めるボリュームを指定します。 除外よりも優先されます。 例：

 exclude = all include = mail root 

メールとルートボリュームのみをバックアップします。 また、次の例では、メールボリュームを除くすべてのボリュームのコピーを作成します。

 exclude = mail 

lvm-diff

最後の（バージョン1.5の）バックアップタイプは、LVMボリュームの差分コピーを作成するように設計されています。
スクリプトは、宛先フォルダー（dpath）で最後の完全バックアップを探し、それが見つかった場合、現在の状態のスナップショットとの差分コピーを作成します。 この場合、2 * -diff.ddおよび* -diff.ddmファイルが宛先フォルダーに表示されますが、これらは両方とも回復に必要です。
すべてのパラメーターは、lvm-fullタイプに似ています。

打ち上げ

実行に必要なタスクの実行は非常に簡単です。
–jobs（または-j）スイッチを指定し、その後に必要なジョブの名前を指定する必要があります。 例：
py4backup --jobs backup_data backup_home backup_media
指定されたすべてのタスクは、--jobsパラメーターで指定された順序で順番に実行されます。 cron経由でスクリプトを実行することもできますが、cronで囲まれた変数はユーザーの変数と異なる場合があり、構成ファイルのpathenv変数でユーティリティrm、dd、rsync、btrfs、lvcreate、lvremoveへのパスを指定する必要がある場合があることに注意してください。

回復

だから、私たちは最も興味深いことになります。 バックアップ自体に費用はかかりませんが、バックアップをすばやく復元する機能はありません。 このセクションでは、スクリプトによって作成されたバックアップからの典型的なリカバリケースについて説明します。

ファイルのバックアップ

以下は、btrfs-full、btrfs-diff、file-full、file-diffなどのジョブによって作成された完全バックアップと差分バックアップの両方に適用されます。 バックアップを復元するには、-aAXスイッチを使用したrsyncが必要です。 例：

 rsync -aAX /mnt/backup/home/2014-06-21-full/ /home/ 

または

 rsync -aAX /mnt/backup/home/2014-06-22-diff/ /home/ 

どちらの場合も、宛先フォルダーにデータの完全なコピーが届き、すぐに使用できます。

スナップショット回復

btrfs-snapタイプで作成されたスナップショットは、いくつかの方法で復元できます。

• rsyncデータのコピーによるファイルバックアップのように（長すぎて面白くない）
• 復元する必要があるフォルダの代わりに、スナップショットをマウントした。 この方法を以下で検討します。

デフォルトでは、スナップショットは読み取り専用モードで作成されます。 したがって、このスナップショットに直接書き込むことはできません。 例を考えてみましょう。
BTRFSはルートファイルシステムとして使用されます。 スクリプトを使用して、/ homeフォルダーのスナップショットが作成され、/ snapshots_homeに追加されます。 そして今、スナップショットから/ホームフォルダーを復元する必要があります。
最初のステップは、/ホームフォルダーを解放することです（名前を変更または削除します）。
次に、必要なスナップショットを選択し（2014-06-19のスナップショットにしてください）、それからスナップショットを作成します（はい、はい、スナップショットのスナップショット）：

 btrfs subvolume snapshot /snapshots_home/2014-06-19 /home 

したがって、最初にデータを書き込み可能にし、セキュリティで保護しました。 ローテーションによるスクリプトが2014-06-19からスナップショットを削除しても、新しく作成されたスナップショットはそのまま残ります。

完全なLVMバックアップの回復

それはすべて非常に簡単です。
バックアップ以上の新しいLVMボリュームを作成し、ddを使用してバックアップをそのボリュームにコピーする必要があります。
例：

 dd if=/backups/2014-06-19-old_volume-full of=/dev/main_vg/new_volume bs=32M 

差分LVMバックアップを復元する

この回復には、py4backupにバンドルされているdddユーティリティを使用する必要があります。
復元するには、–restoreオプションを指定する必要があります。–sスイッチはファイルへのパスなしで、–rスイッチは回復の場所（ブロックデバイスまたはファイル）を指定します。 dddは完全バックアップへのパスを記憶していますが、移動した場合は、手動で新しいパスを指定する必要があります。 これは、-fスイッチを使用して実行できます。
例：
/ backupフォルダーにはバックアップが含まれています。

 root@virtserver / # ls /backup/ 2014-06-18-volume-full 2014-06-19-volume-diff.dd 2014-06-19-volume-diff.ddm 

そして、2014-06-19のバックアップをdevice / dev / main_vg / volumeに復元しますこれを行うには、次のコマンドを実行します：

 ddd --restore -s /backup/2014-06-19-volume-diff -r /dev/main_vg/volume 

完全なコピーが/ ​​backup_ol​​d /フォルダーに移動されたとします：

 ddd --restore -s /backup/2014-06-19-volume-diff -r /dev/main_vg/volume -f /backup_old/2014-06-18-volume-full 

リカバリ後、dddは破損したブロックのリストを表示し、破損したブロックが存在するファイルを示します。 full23レコードは、完全コピーファイルのブロック番号23の損傷を示し、diff24レコードは、差分コピーのブロック24の損傷を示します。

ヒントとコツ

ここでは、スクリプトを使用するためのいくつかの明白ではない瞬間とオプションについて説明します。

• パラメーターなしでスクリプトを実行すると、使用可能なタスクのリストが表示されます。
• dddは、py4backupとは別に使用できます。 完全コピーへのパスは-fスイッチで指定され、変更されたファイルへのパスは-sスイッチで指定されます。 -rスイッチは、差分コピーを保存する場所を示します。 例：
  

   ddd -f /backup/2014-06-18-volume-full -s /dev/main_vg/volume_snapshot -r /backup/diff_backup_name 

• dddによって作成された差分コピーをチェックするが、それを復元しない場合は、宛先として/ dev / nullを指定できます

おわりに

免責事項：スクリプトの作成者は、プログラムの動作または動作停止について責任を負わず、データの損失または損害をもたらします。
スクリプトにエラーがあり（主にマイナーで、4台のテストマシンで安定して動作します）、バグレポートに感謝します（特にトレースバックとコンソールコマンド出力）。
このマニュアルは、バージョン1.5.3に関連しています。
メール、アドレスlarrabee@nixdi.com、またはHabrで私に連絡できます。
Githubソースコード。
リポジトリ内のパッケージ。
読んでくれてありがとう、コメントに感謝します。