DRBD- рдЗрдВрдЯреАрдЧреНрд░реЗрдЯреЗрдб рд╕реНрдЯреЛрд░реЗрдЬ рдХреЗ рд╕рд╛рде Proxmox рдкрд░ рдЦрдбрд╝реЗ рджреЛ рд╕рд░реНрд╡рд░реЛрдВ рдХрд╛ рдПрдХ рдХреНрд▓рд╕реНрдЯрд░ рд╣реЛрдиреЗ рд╕реЗ, рдЖрдкрдХреЛ рдЗрд╕ рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдиреЛрдбреНрд╕ рдХреЛ рдмрд┐рдирд╛ рдорд╢реАрдиреЛрдВ рдХреЛ рд░реЛрдХреЗ рдЕрдкрдбреЗрдЯ рдХрд░рдирд╛ рдкрдбрд╝ рд╕рдХрддрд╛ рд╣реИред рдХрд╛рд░реНрдп рдореБрд╢реНрдХрд┐рд▓ рдирд╣реАрдВ рд╣реИ, рд▓реЗрдХрд┐рди рдХреБрдЫ рдХреНрд╖рдгреЛрдВ рдХреЛ рд╣рдореЗрд╢рд╛ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдореЗрдВ рдпрд╛рдж рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рдЗрд╕рд▓рд┐рдП, рдЕрдкрдиреЗ рд▓рд┐рдП, рдХрдВрд╕реЛрд▓ рдореЗрдВ рднрд╡рд┐рд╖реНрдп рдХреА рдХреЙрдкреА-рдкреЗрд╕реНрдЯ рдХреЗ рд▓рд┐рдП рдХреНрд░рд┐рдпрд╛рдПрдВ рд░рд┐рдХреЙрд░реНрдб рдХреА рдЧрдИрдВред рдЦреИрд░, рдПрдХ рдмрд╛рд░ рд▓рд┐рдЦрд╛ рд╣реИ, рдЗрд╕реЗ рд▓реЛрдЧреЛрдВ рдХреЗ рд╕рд╛рде рд╕рд╛рдЭрд╛ рдХреНрдпреЛрдВ рдирд╣реАрдВ рдХрд┐рдпрд╛?
PS рдЕрдВрдд рдореЗрдВ, DRBD, рдЯреНрдпреВрдирд┐рдВрдЧ рдФрд░ рдЙрдкрдпреЛрдЧреА рд▓рд┐рдВрдХ рдирд╛рдордХ рдмреНрд▓реЙрдХ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЗ рд╡рд┐рд╕реНрддрд╛рд░ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдПрдХ рдЫреЛрдЯрд╛ рд╕рд╛ рдмреЛрдирд╕ред
рдЪрд▓рд┐рдП рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВред
1. рд╣рдо рд╕рднреА рд╡рд░реНрдЪреБрдЕрд▓ рдорд╢реАрдиреЛрдВ рдХреЛ рдПрдХ рдиреЛрдб рдкрд░ рдорд╛рдЗрдЧреНрд░реЗрдЯ рдХрд░рддреЗ рд╣реИрдВ рдЬреЛ рдЬреАрд╡рд┐рдд (PM2) рд░рд╣рддрд╛ рд╣реИред
2. рд╣рдо рд╡рд┐рд╢реЗрд╖рд╛рдзрд┐рдХрд╛рд░ рдкреНрд░рд╛рдкреНрдд рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╕реЗ PM2 рдкрд░ рдХрдВрд╕реЛрд▓ рдЬрд╛рддреЗ рд╣реИрдВред рд╣рдо рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдПрдХ рдиреЛрдб рдХреА рдЕрдиреБрдорддрд┐ рджреЗрддреЗ рд╣реИрдВ:
pvecm expected 1
3. рд╣рдо рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдиреЛрдбреНрд╕ рдХреЛ рджреЗрдЦрддреЗ рд╣реИрдВ:
pvecm nodes
4. рд╣рдо рдХреНрд▓рд╕реНрдЯрд░ рд╕реЗ рдмрдврд╝рддреЗ рдиреЛрдб рдХреЛ рд╣рдЯрд╛рддреЗ рд╣реИрдВ:
pvecm delnode pm1
5. DRBD рд╕рд┐рдВрдХреНрд░рдирд╛рдЗрдЬрд╝реЗрд╢рди рдмрдВрдж рдХрд░реЛ:
drbdadm disconnect all
рдФрд░ рдХрдорд╛рдВрдб рдХреЗ рд╕рд╛рде рд╕реНрдЯреИрдВрдбрдЕрд▓реЛрди рдХреА рд╕реНрдерд┐рддрд┐ рдХреА рдЬрд╛рдВрдЪ рдХрд░реЗрдВ
cat /proc/drbd
6. рдкреБрд░рд╛рдиреА рдорд╢реАрди рдкреНрд░рд╡рд┐рд╖реНрдЯрд┐рдпреЛрдВ рдХреЛ / etc / pve / private / {autorized_keys, know_hosts} рдФрд░ рд╕рд╛рде рд╣реА /root/.ssh рдореЗрдВ рд╣рдЯрд╛рдПрдВ
7. рдПрдХ рдирдИ рдорд╢реАрди (PM1) рдкрд░ ProxmoxVE2 рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ, рд╕реНрдерд╛рдкрдирд╛ рдХреЗ рджреМрд░рд╛рди рд╡рд┐рднрд╛рдЬрди рдХреЗ рдЖрдХрд╛рд░ рдХрд╛ рд╕рдВрдХреЗрдд, рдПрдХ рдирд┐рдордВрддреНрд░рдг рдореЗрдВ рд▓рд┐рдЦрдирд╛
рдмреВрдЯ:
linux ext4 maxroot = 8 рд╕реНрд╡реИрдк = 1 рдореИрдХреНрд╕рд╡реЗрдЬрд╝ = 10 (
рдорд┐рдирдлреНрд░реА = 12 ┬░ рднреА рд╣реИ)
8. рд╣рдо рдХрдВрд╕реЛрд▓ рдореЗрдВ рдЬрд╛рддреЗ рд╣реИрдВ рддрд╛рдЬрд╛ PM1, рдЕрдкрдбреЗрдЯ рдХрд┐рдпрд╛ рдЧрдпрд╛:
apt-get update && apt-get dist-upgrade
9. рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдЬреЛрдбрд╝реЗрдВ:
pvecm add 192.168.0.12
(192.168.0.12 PM2 рдХрд╛ рдЖрдИрдкреА рдкрддрд╛ рд╣реИ)
10. DRBD рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧрд┐рддрд╛рдУрдВ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ:
apt-get install drbd8-utils
рд▓реЗрдХрд┐рди рдЪреВрдВрдХрд┐ рдбреЗрдмрд┐рдпрди рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рдкреБрд░рд╛рдиреА рдЙрдкрдпреЛрдЧрд┐рддрд╛рдУрдВ рдореЗрдВ рд╣рдореЗрдВ рдЙрдиреНрд╣реЗрдВ рдХрд░реНрдиреЗрд▓ рдореЗрдВ рд╕рдорд╛рди рд░реВрдк рд╕реЗ рдЕрдкрдбреЗрдЯ рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ:
dpkg -i drbd8-utils_8.3.13-0_amd64.deb
(рдбреЗрдмрд┐рдпрди 7 рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдкреНрд░реЙрдХреНрд╕рдореЛрдХреНрд╕ 3 рдореЗрдВ, рд╕рдВрд╕реНрдХрд░рдг рдЪрд╛рд▓реВ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЗрд╕ рдмрд┐рдВрджреБ рдХреЛ рдЫреЛрдбрд╝ рджреЗрдВ)11. рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рд╕рд╛рдордЧреНрд░реА рдХреЗ рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП PM2 /etc/drbd.d/r0.res рд╕реЗ рдлрд╝рд╛рдЗрд▓ рдмрдирд╛рдПрдВ / рдХреЙрдкреА рдХрд░реЗрдВ:
resource r0 { protocol C; startup { wfc-timeout 0; degr-wfc-timeout 600; become-primary-on both; } syncer { rate 500M; } net { cram-hmac-alg sha1; shared-secret "my-secret"; allow-two-primaries; after-sb-0pri discard-zero-changes; after-sb-1pri discard-secondary; after-sb-2pri disconnect; sndbuf-size 0; no-tcp-cork; unplug-watermark 16; max-buffers 8000; max-epoch-size 8000; } on pm1 { device /dev/drbd0; disk /dev/pve/drbd; address 192.168.0.11:7788; meta-disk internal; } on pm2 { device /dev/drbd0; disk /dev/pve/drbd; address 192.168.0.12:7788; meta-disk internal; }
12. рдПрдХ рдХрд╛рд░реНрдпрд╢реАрд▓ рдорд╢реАрди рдкрд░ рдареАрдХ рдЙрд╕реА рдЖрдХрд╛рд░ рдХрд╛ рдПрдХ рддрд╛рд░реНрдХрд┐рдХ рд╡рд┐рднрд╛рдЬрди рдмрдирд╛рдПрдВ:
lvcreate -L450G -n drbd0 pve
рдФрд░ рджреЗрдЦреЗрдВ рдХрд┐ рд╣рдордиреЗ рдЯреАрдо рдХреЗ рд╕рд╛рде рдХреНрдпрд╛ рдХрд┐рдпрд╛ рд╣реИ
lvscan
13. рд╣рдо рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВ:
/etc/init.d/drbd start
14. рдПрдХ рдореЗрдЯрд╛рдбреЗрдЯрд╛ рдмрдирд╛рдПрдБ:
drbdadm create-md r0
15. рдмрд╕ рдорд╛рдорд▓реЗ рдореЗрдВ, рдорд╛рдзреНрдпрдорд┐рдХ рдмрдирд╛рдУ
drbdadm secondary r0
рдФрд░ рд╕рднреА рд╕реЗ рдбрд┐рд╕реНрдХрдиреЗрдХреНрдЯ рдХрд░реЗрдВ
drbdadm disconnect r0
16. рд╣рдо рдХрд╣рддреЗ рд╣реИрдВ рдХрд┐ рд╣рдорд╛рд░реА рдорд╢реАрди рдкрд░ рд╕реНрдЯреЛрд░реЗрдЬ рдХрдорд╛рдВрдб рдХреЗ рд╕рд╛рде рддрд╛рд░реАрдЦ рддрдХ рдирд╣реАрдВ рд╣реИ:
drbdadm -- --discard-my-data connect r0
рдФрд░ рдХрд╛рд░ рдХреЛ рд░рд┐рдмреВрдЯ рдХрд░реЗрдВ
17. рдкрд╣рд▓реЗ рд╕рд░реНрд╡рд░ рдХреЗ рдХрдВрд╕реЛрд▓ рдореЗрдВ рд╣рдо рдХрдорд╛рдВрдб рдХреЗ рд╕рд╛рде рд╕рд┐рдВрдХреНрд░реЛрдирд╛рдЗрдЬрд╝реЗрд╢рди рд╕реНрдЯреЗрдЯрд╕ рджреЗрдЦрддреЗ рд╣реИрдВ:
watch cat /proc/drbd
18. рдХреНрд▓рд╕реНрдЯрд░ рд╕реНрдЯреЛрд░реЗрдЬ рдореЗрдВ рд╡реЗрдм рдЗрдВрдЯрд░рдлреЗрд╕ рдореЗрдВ, рд╣рдо рдЕрдкрдиреЗ рдиреЛрдбреНрд╕ рдХреЛ рдбреНрд░рдм рдХреЗ рд╕рд╛рде рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рдореЗрдВ рдЕрдиреБрдорддрд┐ рджреЗрддреЗ рд╣реИрдВ
рдмреЛрдирд╕:
DRBD рд╡реЙрд▓реНрдпреВрдо рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░рдмрд╛рд╣рд░реА рдореЗрдЯрд╛ рдбрд┐рд╕реНрдХ рдХреЗ рд▓рд┐рдП рдпрд╣ рд╕рдм рд╕рдЪ рд╣реИред
1. рд╣рдордиреЗ рд░реАрдб рдореЗрдВ рдбрд┐рд╕реНрдХ рд╕реНрдерд╛рди рдЬреЛрдбрд╝рд╛ред рд╣рдо рдЙрд╕ рдЕрдиреБрднрд╛рдЧ рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ рдЬрд┐рд╕ рдкрд░ drdd рдЭреВрда рд╣реИ:
lvextend -L+250G /dev/pve/drbd0
2. рдПрдХ рдЦрд╛рд▓реА рдорд╢реАрди рдкрд░, рднрдВрдбрд╛рд░рдг рдХреЛ рджреНрд╡рд┐рддреАрдпрдХ рдмрдирд╛рдПрдВ:
drbdadm secondary r0
3. рд╣рдо рдЙрд╕ рдорд╢реАрди рдкрд░ рдЪрд▓рд╛рдХрд░ рдбреНрд░рдм рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ рдЬрд╣рд╛рдВ рдЖрднрд╛рд╕реА рдорд╢реАрдиреЗрдВ рдШреВрдорддреА рд╣реИрдВ, рдХреНрдпреЛрдВрдХрд┐ рджреВрд╕рд░реА рдорд╢реАрди рдкрд░ рдбрд┐рд╕реНрдХ рдЕрд╕реНрдерд╛рдпреА рд░реВрдк рд╕реЗ рдмрдВрдж рд╣реИ:
drbdadm resize r0
4. рдбреНрд░рдм рдбрд┐рд╡рд╛рдЗрд╕ рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░ рдХреЗрд╡рд▓ рдЗрд╕ рдмреНрд▓реЙрдХ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЛ рдмрдврд╝рд╛рдПрдЧрд╛, рд▓реЗрдХрд┐рди рдЗрд╕реЗ рдмрдврд╝рд╛рдиреЗ рдХреЗ рд▓рд┐рдП pv рдирд╣реАрдВ,:
pvresize /dev/pve/drbd0
рдпрджрд┐ рдЖрдВрддрд░рд┐рдХ рдбрд┐рд╕реНрдХ, рдЖрдкрдХреЛ рдЕрд╕реНрдерд╛рдпреА рд░реВрдк рд╕реЗ рдпрд╛ рд╕реНрдерд╛рдпреА рд░реВрдк рд╕реЗ рдореЗрдЯрд╛рдбреЗрдЯрд╛ рдХреЛ рдПрдХ рдЕрд▓рдЧ рдбрд┐рд╕реНрдХ рдореЗрдВ рд╕реНрдерд╛рдирд╛рдВрддрд░рд┐рдд рдХрд░рдирд╛ рд╣реЛрдЧрд╛ред рдмрд┐рдирд╛ рд░реБрдХреЗ, рдпрд╣ рджреЛ рдЪрд░рдгреЛрдВ рдореЗрдВ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред
1. рд╕рд░реНрд╡рд░реЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ рдкрд░:
рдХ) рдбреНрд░рдм рдмрдВрдж рдХрд░реЛ:
drbdadm down r0
рдлрд┐рд░ рд╡рд┐рдиреНрдпрд╛рд╕ рдореЗрдВ рд▓рд╛рдЗрдиреЛрдВ рдХреЛ рдмрджрд▓реЗрдВ
рдореЗрдЯрд╛-рдбрд┐рд╕реНрдХ рдЖрдВрддрд░рд┐рдХ
рдкрд░
рдореЗрдЯрд╛-рдбрд┐рд╕реНрдХ / dev / "рдореЗрдЯрд╛рдбреЗрдЯрд╛ рдХреЗ рд▓рд┐рдП рдЖрдкрдХрд╛ рдЙрдкрдХрд░рдг" [0]
рдЬрд┐рд╕рдХреЗ рд▓рд┐рдП рдПрдХ ssd рдбреНрд░рд╛рдЗрд╡ рдЕрддреНрдпрдзрд┐рдХ рдЕрдиреБрд╢рдВрд╕рд┐рдд рд╣реИ, рд▓реЗрдХрд┐рди рдереЛрдбрд╝реА рджреЗрд░ рдХреЗ рд▓рд┐рдП рдЖрдк рдПрдХ lvm рдкрд╛рд░реНрдЯреАрд╢рди рдмрдирд╛ рд╕рдХрддреЗ рд╣реИрдВред
b) рдлрд┐рд░ рджреВрд╕рд░реА рдорд╢реАрди рдкрд░
drbdadm -- --overwrite-data-of-peer primary r0
рд▓реЗрдХрд┐рди рд╡рд░реНрддрдорд╛рди рдкрд░
drbdadm up r0
рдФрд░ рд╕рд┐рдВрдХреНрд░рдирд╛рдЗрдЬрд╝реЗрд╢рди рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рджреЗрдЦреЗрдВ
watch cat /proc/drbd
рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдкреВрд░реА рд╣реЛрдиреЗ рдХреЗ рдмрд╛рдж, рдЗрд╕ рд╕рд░реНрд╡рд░ рдкрд░ рдореЗрдЯрд╛рдбреЗрдЯрд╛ рдХреЛ рдПрдХ рдЕрд▓рдЧ рдбрд┐рд╡рд╛рдЗрд╕ рдореЗрдВ рд╕реНрдерд╛рдирд╛рдВрддрд░рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
2. рджреВрд╕рд░реЗ рд╕рд░реНрд╡рд░ рдкрд░ рдЪрд░рдг 1 рдХреЛ рджреЛрд╣рд░рд╛рдПрдВред
рдпрджрд┐ рдХреЛрдИ рдПрд╕рдПрд╕рдбреА рдирд╣реАрдВ рд╣реИ, рддреЛ рд╡рд┐рд╕реНрддрд╛рд░ рдХреЗ рдмрд╛рдж, рднрдВрдбрд╛рд░рдг рдХреА рдЧрддрд┐ рдХреЛ рдЦрд░рд╛рдм рдирд╣реАрдВ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдЖрдкрдХреЛ рд░рд┐рд╡рд░реНрд╕ рдЬреЛрдбрд╝рддреЛрдбрд╝ рдХрд░рдирд╛ рд╣реЛрдЧрд╛ред рд▓реЗрдХрд┐рди рдХреБрдЫ ssd, рдпрд╛ рд╢рд╛рдпрдж рдЪрд╛рд░, рд░рд┐рдЬрд░реНрд╡ рдореЗрдВ рдпрд╛ рдЙрдиреНрд╣реЗрдВ рдкреНрд░рддреНрдпреЗрдХ рд╕рд░реНрд╡рд░ рдкрд░ RAID1 рд╕реЗ рдЬреЛрдбрд╝рдХрд░ рдЦрд░реАрджрдирд╛ рдмреЗрд╣рддрд░ рд╣реИред
рдХрд┐рд╕реА рднреА рдХрд╛рд░реНрд░рд╡рд╛рдИ рд╕реЗ рдкрд╣рд▓реЗ, рдмреИрдХрдЕрдк рдкреНрд░рддрд┐рдпрд╛рдБ рдмрдирд╛рдирд╛ рдХрд╛рдлреА рд╕реНрд╡рд╛рднрд╛рд╡рд┐рдХ рд╣реИ, рдФрд░ /etc/vzdump.conf рдлрд╝рд╛рдЗрд▓ рдореЗрдВ рд▓рд╛рдЗрди рдЙрдиреНрд╣реЗрдВ рдФрд░ рддреЗрдЬрд╝ рдмрдирд╛рдиреЗ рдореЗрдВ рдорджрдж рдХрд░реЗрдЧреА:
bwlimit: 100000
рдЬреЛ 100 рдореЗрдЧрд╛рдмрд┐рдЯреНрд╕ рдХреА рдЧрддрд┐ рд╕реАрдорд╛ рдмрдирд╛ рджреЗрдЧрд╛, рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ рдЗрд╕рдХреА рд▓рд╛рдЧрдд рдХреЗрд╡рд▓ 10 рд╣реИ, рдЬреЛ 100 рдореЗрдЧрд╛рдмрд┐рдЯ рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рд▓рд┐рдП рдХрд╛рдлреА рд╕рд╛рдорд╛рдиреНрдп рд╣реИ, рд▓реЗрдХрд┐рди рдЧреАрдЧрд╛рдмрд┐рдЯреНрд╕ (рдП) рдХреЗ рд▓рд┐рдП рдмрд╣реБрдд рдирд░рдо рд╣реИред
рдЙрдкрдпреЛрдЧреА рд▓рд┐рдВрдХ:
рдкреНрд░реЙрдХреНрд╕реЙрдХреНрд╕ рд╡реЗрдмрд╕рд╛рдЗрдЯрдкреНрд░реЙрдХреНрд╕реЙрдХреНрд╕ рд╡рд┐рдХреАрд╕рдореАрдкрд╕реНрде рдордВрдЪрд╕реНрдерд╛рдкрдирд╛ рдХреЗ рд▓рд┐рдП рдЫрд╡рд┐ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░реЗрдВUPD: рдбреЗрдмрд┐рдпрди рд╡реНрд╣реАрдЬрд╝реА рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдкреНрд░реЙрдХреНрд╕рдореЙрдХреНрд╕ 3.0 рдХреА рд░рд┐рд▓реАрдЬрд╝ рдХреЗ рд▓рд┐рдП рдмрдзрд╛рдИ