DRBD рд╕реЗ рдирдП рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдореЗрдВ ProxmoxVE2 (3) рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдПрдХ рднреМрддрд┐рдХ рдорд╢реАрди рдХреЛ рдорд╛рдЗрдЧреНрд░реЗрдЯ рдХрд░рдирд╛

DRBD- рдЗрдВрдЯреАрдЧреНрд░реЗрдЯреЗрдб рд╕реНрдЯреЛрд░реЗрдЬ рдХреЗ рд╕рд╛рде Proxmox рдкрд░ рдЦрдбрд╝реЗ рджреЛ рд╕рд░реНрд╡рд░реЛрдВ рдХрд╛ рдПрдХ рдХреНрд▓рд╕реНрдЯрд░ рд╣реЛрдиреЗ рд╕реЗ, рдЖрдкрдХреЛ рдЗрд╕ рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдиреЛрдбреНрд╕ рдХреЛ рдмрд┐рдирд╛ рдорд╢реАрдиреЛрдВ рдХреЛ рд░реЛрдХреЗ рдЕрдкрдбреЗрдЯ рдХрд░рдирд╛ рдкрдбрд╝ рд╕рдХрддрд╛ рд╣реИред рдХрд╛рд░реНрдп рдореБрд╢реНрдХрд┐рд▓ рдирд╣реАрдВ рд╣реИ, рд▓реЗрдХрд┐рди рдХреБрдЫ рдХреНрд╖рдгреЛрдВ рдХреЛ рд╣рдореЗрд╢рд╛ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдореЗрдВ рдпрд╛рдж рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рдЗрд╕рд▓рд┐рдП, рдЕрдкрдиреЗ рд▓рд┐рдП, рдХрдВрд╕реЛрд▓ рдореЗрдВ рднрд╡рд┐рд╖реНрдп рдХреА рдХреЙрдкреА-рдкреЗрд╕реНрдЯ рдХреЗ рд▓рд┐рдП рдХреНрд░рд┐рдпрд╛рдПрдВ рд░рд┐рдХреЙрд░реНрдб рдХреА рдЧрдИрдВред рдЦреИрд░, рдПрдХ рдмрд╛рд░ рд▓рд┐рдЦрд╛ рд╣реИ, рдЗрд╕реЗ рд▓реЛрдЧреЛрдВ рдХреЗ рд╕рд╛рде рд╕рд╛рдЭрд╛ рдХреНрдпреЛрдВ рдирд╣реАрдВ рдХрд┐рдпрд╛?
PS рдЕрдВрдд рдореЗрдВ, DRBD, рдЯреНрдпреВрдирд┐рдВрдЧ рдФрд░ рдЙрдкрдпреЛрдЧреА рд▓рд┐рдВрдХ рдирд╛рдордХ рдмреНрд▓реЙрдХ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЗ рд╡рд┐рд╕реНрддрд╛рд░ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдПрдХ рдЫреЛрдЯрд╛ рд╕рд╛ рдмреЛрдирд╕ред


рдЪрд▓рд┐рдП рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВред

1. рд╣рдо рд╕рднреА рд╡рд░реНрдЪреБрдЕрд▓ рдорд╢реАрдиреЛрдВ рдХреЛ рдПрдХ рдиреЛрдб рдкрд░ рдорд╛рдЗрдЧреНрд░реЗрдЯ рдХрд░рддреЗ рд╣реИрдВ рдЬреЛ рдЬреАрд╡рд┐рдд (PM2) рд░рд╣рддрд╛ рд╣реИред
2. рд╣рдо рд╡рд┐рд╢реЗрд╖рд╛рдзрд┐рдХрд╛рд░ рдкреНрд░рд╛рдкреНрдд рдЙрдкрдпреЛрдЧрдХрд░реНрддрд╛ рд╕реЗ PM2 рдкрд░ рдХрдВрд╕реЛрд▓ рдЬрд╛рддреЗ рд╣реИрдВред рд╣рдо рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдПрдХ рдиреЛрдб рдХреА рдЕрдиреБрдорддрд┐ рджреЗрддреЗ рд╣реИрдВ:
pvecm expected 1 

3. рд╣рдо рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдиреЛрдбреНрд╕ рдХреЛ рджреЗрдЦрддреЗ рд╣реИрдВ:
 pvecm nodes 

4. рд╣рдо рдХреНрд▓рд╕реНрдЯрд░ рд╕реЗ рдмрдврд╝рддреЗ рдиреЛрдб рдХреЛ рд╣рдЯрд╛рддреЗ рд╣реИрдВ:
 pvecm delnode pm1 

5. DRBD рд╕рд┐рдВрдХреНрд░рдирд╛рдЗрдЬрд╝реЗрд╢рди рдмрдВрдж рдХрд░реЛ:
 drbdadm disconnect all 

рдФрд░ рдХрдорд╛рдВрдб рдХреЗ рд╕рд╛рде рд╕реНрдЯреИрдВрдбрдЕрд▓реЛрди рдХреА рд╕реНрдерд┐рддрд┐ рдХреА рдЬрд╛рдВрдЪ рдХрд░реЗрдВ
 cat /proc/drbd 

6. рдкреБрд░рд╛рдиреА рдорд╢реАрди рдкреНрд░рд╡рд┐рд╖реНрдЯрд┐рдпреЛрдВ рдХреЛ / etc / pve / private / {autorized_keys, know_hosts} рдФрд░ рд╕рд╛рде рд╣реА /root/.ssh рдореЗрдВ рд╣рдЯрд╛рдПрдВ
7. рдПрдХ рдирдИ рдорд╢реАрди (PM1) рдкрд░ ProxmoxVE2 рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ, рд╕реНрдерд╛рдкрдирд╛ рдХреЗ рджреМрд░рд╛рди рд╡рд┐рднрд╛рдЬрди рдХреЗ рдЖрдХрд╛рд░ рдХрд╛ рд╕рдВрдХреЗрдд, рдПрдХ рдирд┐рдордВрддреНрд░рдг рдореЗрдВ рд▓рд┐рдЦрдирд╛
рдмреВрдЯ: linux ext4 maxroot = 8 рд╕реНрд╡реИрдк = 1 рдореИрдХреНрд╕рд╡реЗрдЬрд╝ = 10 ( рдорд┐рдирдлреНрд░реА = 12 ┬░ рднреА рд╣реИ)
8. рд╣рдо рдХрдВрд╕реЛрд▓ рдореЗрдВ рдЬрд╛рддреЗ рд╣реИрдВ рддрд╛рдЬрд╛ PM1, рдЕрдкрдбреЗрдЯ рдХрд┐рдпрд╛ рдЧрдпрд╛:
 apt-get update && apt-get dist-upgrade 

9. рдХреНрд▓рд╕реНрдЯрд░ рдореЗрдВ рдЬреЛрдбрд╝реЗрдВ:
 pvecm add 192.168.0.12 
(192.168.0.12 PM2 рдХрд╛ рдЖрдИрдкреА рдкрддрд╛ рд╣реИ)
10. DRBD рдХреЗ рд╕рд╛рде рдХрд╛рдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧрд┐рддрд╛рдУрдВ рдХреЛ рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ:
 apt-get install drbd8-utils 

рд▓реЗрдХрд┐рди рдЪреВрдВрдХрд┐ рдбреЗрдмрд┐рдпрди рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рдкреБрд░рд╛рдиреА рдЙрдкрдпреЛрдЧрд┐рддрд╛рдУрдВ рдореЗрдВ рд╣рдореЗрдВ рдЙрдиреНрд╣реЗрдВ рдХрд░реНрдиреЗрд▓ рдореЗрдВ рд╕рдорд╛рди рд░реВрдк рд╕реЗ рдЕрдкрдбреЗрдЯ рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реИ:
 dpkg -i drbd8-utils_8.3.13-0_amd64.deb 

(рдбреЗрдмрд┐рдпрди 7 рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдкреНрд░реЙрдХреНрд╕рдореЛрдХреНрд╕ 3 рдореЗрдВ, рд╕рдВрд╕реНрдХрд░рдг рдЪрд╛рд▓реВ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЗрд╕ рдмрд┐рдВрджреБ рдХреЛ рдЫреЛрдбрд╝ рджреЗрдВ)
11. рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рд╕рд╛рдордЧреНрд░реА рдХреЗ рдЙрджрд╛рд╣рд░рдг рдХреЗ рд▓рд┐рдП PM2 /etc/drbd.d/r0.res рд╕реЗ рдлрд╝рд╛рдЗрд▓ рдмрдирд╛рдПрдВ / рдХреЙрдкреА рдХрд░реЗрдВ:
 resource r0 { protocol C; startup { wfc-timeout 0; degr-wfc-timeout 600; become-primary-on both; } syncer { rate 500M; } net { cram-hmac-alg sha1; shared-secret "my-secret"; allow-two-primaries; after-sb-0pri discard-zero-changes; after-sb-1pri discard-secondary; after-sb-2pri disconnect; sndbuf-size 0; no-tcp-cork; unplug-watermark 16; max-buffers 8000; max-epoch-size 8000; } on pm1 { device /dev/drbd0; disk /dev/pve/drbd; address 192.168.0.11:7788; meta-disk internal; } on pm2 { device /dev/drbd0; disk /dev/pve/drbd; address 192.168.0.12:7788; meta-disk internal; } 

12. рдПрдХ рдХрд╛рд░реНрдпрд╢реАрд▓ рдорд╢реАрди рдкрд░ рдареАрдХ рдЙрд╕реА рдЖрдХрд╛рд░ рдХрд╛ рдПрдХ рддрд╛рд░реНрдХрд┐рдХ рд╡рд┐рднрд╛рдЬрди рдмрдирд╛рдПрдВ:
 lvcreate -L450G -n drbd0 pve 

рдФрд░ рджреЗрдЦреЗрдВ рдХрд┐ рд╣рдордиреЗ рдЯреАрдо рдХреЗ рд╕рд╛рде рдХреНрдпрд╛ рдХрд┐рдпрд╛ рд╣реИ
 lvscan 

13. рд╣рдо рд╢реБрд░реВ рдХрд░рддреЗ рд╣реИрдВ:
 /etc/init.d/drbd start 

14. рдПрдХ рдореЗрдЯрд╛рдбреЗрдЯрд╛ рдмрдирд╛рдПрдБ:
 drbdadm create-md r0 

15. рдмрд╕ рдорд╛рдорд▓реЗ рдореЗрдВ, рдорд╛рдзреНрдпрдорд┐рдХ рдмрдирд╛рдУ
 drbdadm secondary r0 

рдФрд░ рд╕рднреА рд╕реЗ рдбрд┐рд╕реНрдХрдиреЗрдХреНрдЯ рдХрд░реЗрдВ
 drbdadm disconnect r0 

16. рд╣рдо рдХрд╣рддреЗ рд╣реИрдВ рдХрд┐ рд╣рдорд╛рд░реА рдорд╢реАрди рдкрд░ рд╕реНрдЯреЛрд░реЗрдЬ рдХрдорд╛рдВрдб рдХреЗ рд╕рд╛рде рддрд╛рд░реАрдЦ рддрдХ рдирд╣реАрдВ рд╣реИ:
 drbdadm -- --discard-my-data connect r0 

рдФрд░ рдХрд╛рд░ рдХреЛ рд░рд┐рдмреВрдЯ рдХрд░реЗрдВ
17. рдкрд╣рд▓реЗ рд╕рд░реНрд╡рд░ рдХреЗ рдХрдВрд╕реЛрд▓ рдореЗрдВ рд╣рдо рдХрдорд╛рдВрдб рдХреЗ рд╕рд╛рде рд╕рд┐рдВрдХреНрд░реЛрдирд╛рдЗрдЬрд╝реЗрд╢рди рд╕реНрдЯреЗрдЯрд╕ рджреЗрдЦрддреЗ рд╣реИрдВ:
 watch cat /proc/drbd 

18. рдХреНрд▓рд╕реНрдЯрд░ рд╕реНрдЯреЛрд░реЗрдЬ рдореЗрдВ рд╡реЗрдм рдЗрдВрдЯрд░рдлреЗрд╕ рдореЗрдВ, рд╣рдо рдЕрдкрдиреЗ рдиреЛрдбреНрд╕ рдХреЛ рдбреНрд░рдм рдХреЗ рд╕рд╛рде рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рдореЗрдВ рдЕрдиреБрдорддрд┐ рджреЗрддреЗ рд╣реИрдВ

рдмреЛрдирд╕: DRBD рд╡реЙрд▓реНрдпреВрдо рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░

рдмрд╛рд╣рд░реА рдореЗрдЯрд╛ рдбрд┐рд╕реНрдХ рдХреЗ рд▓рд┐рдП рдпрд╣ рд╕рдм рд╕рдЪ рд╣реИред
1. рд╣рдордиреЗ рд░реАрдб рдореЗрдВ рдбрд┐рд╕реНрдХ рд╕реНрдерд╛рди рдЬреЛрдбрд╝рд╛ред рд╣рдо рдЙрд╕ рдЕрдиреБрднрд╛рдЧ рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ рдЬрд┐рд╕ рдкрд░ drdd рдЭреВрда рд╣реИ:
 lvextend -L+250G /dev/pve/drbd0 

2. рдПрдХ рдЦрд╛рд▓реА рдорд╢реАрди рдкрд░, рднрдВрдбрд╛рд░рдг рдХреЛ рджреНрд╡рд┐рддреАрдпрдХ рдмрдирд╛рдПрдВ:
 drbdadm secondary r0 


3. рд╣рдо рдЙрд╕ рдорд╢реАрди рдкрд░ рдЪрд▓рд╛рдХрд░ рдбреНрд░рдм рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░ рдХрд░рддреЗ рд╣реИрдВ рдЬрд╣рд╛рдВ рдЖрднрд╛рд╕реА рдорд╢реАрдиреЗрдВ рдШреВрдорддреА рд╣реИрдВ, рдХреНрдпреЛрдВрдХрд┐ рджреВрд╕рд░реА рдорд╢реАрди рдкрд░ рдбрд┐рд╕реНрдХ рдЕрд╕реНрдерд╛рдпреА рд░реВрдк рд╕реЗ рдмрдВрдж рд╣реИ:
 drbdadm resize r0 


4. рдбреНрд░рдм рдбрд┐рд╡рд╛рдЗрд╕ рдХрд╛ рд╡рд┐рд╕реНрддрд╛рд░ рдХреЗрд╡рд▓ рдЗрд╕ рдмреНрд▓реЙрдХ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЛ рдмрдврд╝рд╛рдПрдЧрд╛, рд▓реЗрдХрд┐рди рдЗрд╕реЗ рдмрдврд╝рд╛рдиреЗ рдХреЗ рд▓рд┐рдП pv рдирд╣реАрдВ,:
 pvresize /dev/pve/drbd0 


рдпрджрд┐ рдЖрдВрддрд░рд┐рдХ рдбрд┐рд╕реНрдХ, рдЖрдкрдХреЛ рдЕрд╕реНрдерд╛рдпреА рд░реВрдк рд╕реЗ рдпрд╛ рд╕реНрдерд╛рдпреА рд░реВрдк рд╕реЗ рдореЗрдЯрд╛рдбреЗрдЯрд╛ рдХреЛ рдПрдХ рдЕрд▓рдЧ рдбрд┐рд╕реНрдХ рдореЗрдВ рд╕реНрдерд╛рдирд╛рдВрддрд░рд┐рдд рдХрд░рдирд╛ рд╣реЛрдЧрд╛ред рдмрд┐рдирд╛ рд░реБрдХреЗ, рдпрд╣ рджреЛ рдЪрд░рдгреЛрдВ рдореЗрдВ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред
1. рд╕рд░реНрд╡рд░реЛрдВ рдореЗрдВ рд╕реЗ рдПрдХ рдкрд░:
рдХ) рдбреНрд░рдм рдмрдВрдж рдХрд░реЛ:
 drbdadm down r0 

рдлрд┐рд░ рд╡рд┐рдиреНрдпрд╛рд╕ рдореЗрдВ рд▓рд╛рдЗрдиреЛрдВ рдХреЛ рдмрджрд▓реЗрдВ
рдореЗрдЯрд╛-рдбрд┐рд╕реНрдХ рдЖрдВрддрд░рд┐рдХ
рдкрд░
рдореЗрдЯрд╛-рдбрд┐рд╕реНрдХ / dev / "рдореЗрдЯрд╛рдбреЗрдЯрд╛ рдХреЗ рд▓рд┐рдП рдЖрдкрдХрд╛ рдЙрдкрдХрд░рдг" [0]
рдЬрд┐рд╕рдХреЗ рд▓рд┐рдП рдПрдХ ssd рдбреНрд░рд╛рдЗрд╡ рдЕрддреНрдпрдзрд┐рдХ рдЕрдиреБрд╢рдВрд╕рд┐рдд рд╣реИ, рд▓реЗрдХрд┐рди рдереЛрдбрд╝реА рджреЗрд░ рдХреЗ рд▓рд┐рдП рдЖрдк рдПрдХ lvm рдкрд╛рд░реНрдЯреАрд╢рди рдмрдирд╛ рд╕рдХрддреЗ рд╣реИрдВред
b) рдлрд┐рд░ рджреВрд╕рд░реА рдорд╢реАрди рдкрд░
 drbdadm -- --overwrite-data-of-peer primary r0 

рд▓реЗрдХрд┐рди рд╡рд░реНрддрдорд╛рди рдкрд░
 drbdadm up r0 

рдФрд░ рд╕рд┐рдВрдХреНрд░рдирд╛рдЗрдЬрд╝реЗрд╢рди рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЛ рджреЗрдЦреЗрдВ
 watch cat /proc/drbd 

рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдкреВрд░реА рд╣реЛрдиреЗ рдХреЗ рдмрд╛рдж, рдЗрд╕ рд╕рд░реНрд╡рд░ рдкрд░ рдореЗрдЯрд╛рдбреЗрдЯрд╛ рдХреЛ рдПрдХ рдЕрд▓рдЧ рдбрд┐рд╡рд╛рдЗрд╕ рдореЗрдВ рд╕реНрдерд╛рдирд╛рдВрддрд░рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
2. рджреВрд╕рд░реЗ рд╕рд░реНрд╡рд░ рдкрд░ рдЪрд░рдг 1 рдХреЛ рджреЛрд╣рд░рд╛рдПрдВред

рдпрджрд┐ рдХреЛрдИ рдПрд╕рдПрд╕рдбреА рдирд╣реАрдВ рд╣реИ, рддреЛ рд╡рд┐рд╕реНрддрд╛рд░ рдХреЗ рдмрд╛рдж, рднрдВрдбрд╛рд░рдг рдХреА рдЧрддрд┐ рдХреЛ рдЦрд░рд╛рдм рдирд╣реАрдВ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдЖрдкрдХреЛ рд░рд┐рд╡рд░реНрд╕ рдЬреЛрдбрд╝рддреЛрдбрд╝ рдХрд░рдирд╛ рд╣реЛрдЧрд╛ред рд▓реЗрдХрд┐рди рдХреБрдЫ ssd, рдпрд╛ рд╢рд╛рдпрдж рдЪрд╛рд░, рд░рд┐рдЬрд░реНрд╡ рдореЗрдВ рдпрд╛ рдЙрдиреНрд╣реЗрдВ рдкреНрд░рддреНрдпреЗрдХ рд╕рд░реНрд╡рд░ рдкрд░ RAID1 рд╕реЗ рдЬреЛрдбрд╝рдХрд░ рдЦрд░реАрджрдирд╛ рдмреЗрд╣рддрд░ рд╣реИред

рдХрд┐рд╕реА рднреА рдХрд╛рд░реНрд░рд╡рд╛рдИ рд╕реЗ рдкрд╣рд▓реЗ, рдмреИрдХрдЕрдк рдкреНрд░рддрд┐рдпрд╛рдБ рдмрдирд╛рдирд╛ рдХрд╛рдлреА рд╕реНрд╡рд╛рднрд╛рд╡рд┐рдХ рд╣реИ, рдФрд░ /etc/vzdump.conf рдлрд╝рд╛рдЗрд▓ рдореЗрдВ рд▓рд╛рдЗрди рдЙрдиреНрд╣реЗрдВ рдФрд░ рддреЗрдЬрд╝ рдмрдирд╛рдиреЗ рдореЗрдВ рдорджрдж рдХрд░реЗрдЧреА:
 bwlimit: 100000 

рдЬреЛ 100 рдореЗрдЧрд╛рдмрд┐рдЯреНрд╕ рдХреА рдЧрддрд┐ рд╕реАрдорд╛ рдмрдирд╛ рджреЗрдЧрд╛, рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ рдЗрд╕рдХреА рд▓рд╛рдЧрдд рдХреЗрд╡рд▓ 10 рд╣реИ, рдЬреЛ 100 рдореЗрдЧрд╛рдмрд┐рдЯ рдиреЗрдЯрд╡рд░реНрдХ рдХреЗ рд▓рд┐рдП рдХрд╛рдлреА рд╕рд╛рдорд╛рдиреНрдп рд╣реИ, рд▓реЗрдХрд┐рди рдЧреАрдЧрд╛рдмрд┐рдЯреНрд╕ (рдП) рдХреЗ рд▓рд┐рдП рдмрд╣реБрдд рдирд░рдо рд╣реИред

рдЙрдкрдпреЛрдЧреА рд▓рд┐рдВрдХ:
рдкреНрд░реЙрдХреНрд╕реЙрдХреНрд╕ рд╡реЗрдмрд╕рд╛рдЗрдЯ
рдкреНрд░реЙрдХреНрд╕реЙрдХреНрд╕ рд╡рд┐рдХреА
рд╕рдореАрдкрд╕реНрде рдордВрдЪ
рд╕реНрдерд╛рдкрдирд╛ рдХреЗ рд▓рд┐рдП рдЫрд╡рд┐ рдбрд╛рдЙрдирд▓реЛрдб рдХрд░реЗрдВ

UPD: рдбреЗрдмрд┐рдпрди рд╡реНрд╣реАрдЬрд╝реА рдкрд░ рдЖрдзрд╛рд░рд┐рдд рдкреНрд░реЙрдХреНрд╕рдореЙрдХреНрд╕ 3.0 рдХреА рд░рд┐рд▓реАрдЬрд╝ рдХреЗ рд▓рд┐рдП рдмрдзрд╛рдИ

Source: https://habr.com/ru/post/In180699/


All Articles