🧝🏽 🖖🏻 🚔 DRBD पर आधारित मुफ्त प्रतिस्थापन VMware vSphere संग्रहण उपकरण 🅿️ 🔇 💀

हाल ही में, VMware ने vSphere 5 लाइन में नए उत्पादों की घोषणा की, और हम बहुत रुचि रखते थे कि VMware vSphere स्टोरेज उपकरण क्या है?

संक्षेप में, सार बाहरी भंडारण के बिना एक दोष-सहिष्णु आभासी बुनियादी ढांचे के निर्माण की संभावना में निहित है। कार्यान्वयन के लिए, दो या तीन वर्चुअल मशीन स्थापित की जाती हैं (प्रत्येक होस्ट के लिए), जो खुद को ईएसएक्सआई सर्वर के डिस्क सबसिस्टम के मुक्त स्थान के बीच दोहराती हैं और इसे सभी उसी ईएक्सआईवाई होस्ट को साझा भंडारण के रूप में प्रदान करती हैं। यहाँ वर्णित रूसी संग्रहण उपकरण में विवरण।

एक दिलचस्प विचार है, लेकिन कीमत $ 6K के आसपास है। इसके अलावा, यदि आप प्रदर्शन के बारे में सोचते हैं, तो क्या आप डिस्क सरणी की गति में कोई गिरावट पा सकते हैं? दूसरी ओर मुद्दे को स्वीकार करते हुए, आप बाहरी भंडारण के आयोजन के कई अन्य तरीकों के बारे में सोच सकते हैं। उदाहरण के लिए, आप आवश्यक सॉफ़्टवेयर के साथ लगभग किसी भी हार्डवेयर से बाहरी भंडारण बना सकते हैं और स्थापित सॉफ्टवेयर ओपनफ़ाइलर, फ्रीएनएएस, नेक्सेंटा, ओपन-ई - इन सॉफ्टवेयर उत्पादों में सिस्टम के बीच प्रतिकृति की संभावना है।

इस दृष्टिकोण का अभ्यास कई कंपनियों द्वारा किया जाता है जिनके पास किसी प्रसिद्ध निर्माता की महंगी भंडारण प्रणाली खरीदने का अवसर नहीं होता है, जो पर्याप्त प्रदर्शन और विश्वसनीयता प्रदान करेगा। आमतौर पर, ऐसी प्रणाली दो नियंत्रकों, निरर्थक बिजली प्रणाली, उच्च गति डिस्क और अधिक से सुसज्जित हैं ...

हालाँकि, शुरुआत में वापस और VMware प्रदान करता है कि योजना को देखो:

हम क्या देखते हैं? 3 ESXi उन पर तैनात आभासी मशीनों के साथ होस्ट करता है, प्रत्येक मेजबान के लिए एक। मशीनों को क्लस्टर किया जाता है और बाहरी के रूप में हमें आंतरिक ड्राइव देता है।

उपलब्ध उपकरणों से एक समान समाधान को एक साथ रखने का विचार लंबे समय से हवा में है, लेकिन कोई औचित्य नहीं मिल सका। और फिर वीएमवेयर ने खुद को एक परीक्षण वातावरण में सब कुछ आज़माने के लिए एक प्रेरणा दी।

दोष-सहिष्णु भंडारण के निर्माण के लिए समाधान - एक गुच्छा, उदाहरण के लिए, Openfiler + DRBD + दिल की धड़कन के आधार पर। लेकिन इन सभी निर्णयों के दिल में बाहरी भंडारण के निर्माण का विचार निहित है। आभासी मशीनों के आधार पर कुछ समान करने की कोशिश क्यों नहीं की गई?

एक नींव के रूप में, आइए, ओएस उबंटू के साथ 2 आभासी मशीनें लें, फेलओवर iSCSI- लक्ष्य के निर्माण पर उबंटू प्रलेखन और अपने स्वयं के उपकरण बनाने की कोशिश करें।

क्लस्टर के दोनों नोड्स पर डिस्क विभाजन:

/dev/sda1 - 10 GB / (primary' ext3, Bootable flag: on)
/dev/sda5 - 1 GB swap (logical)

/dev/sdb1 - 1 GB (primary) DRBD meta-. .
/dev/sdc1 - 1 GB (primary) DRBD , iSCSI. .
/dev/sdd1 - 50 GB (primary) DRBD iSCSI-target.

Sdd1 डिस्क आकार एक उदाहरण के रूप में चुना गया है। वास्तव में, ईएसएक्सआई होस्ट के स्थानीय भंडारण पर सभी शेष खाली स्थान लिया जाता है।

ISCSI नेटवर्क:

iSCSI server1: node1.demo.local IP address: 10.11.55.55
iSCSI server2: node2.demo.local IP address: 10.11.55.56
iSCSI Virtual IP address 10.11.55.50

निजी नेटवर्क:

iSCSI server1: node1-private IP address: 192.168.22.11
iSCSI server2: node2-private IP address: 192.168.22.12

/ etc / नेटवर्क / इंटरफेस:

नोड 1 के लिए:

auto eth0
iface eth0 inet static
address 10.11.55.55
netmask 255.0.0.0
gateway 10.0.0.1

auto eth1
iface eth1 inet static
address 192.168.22.11
netmask 255.255.255.0

नोड 2 के लिए:

auto eth0
iface eth0 inet static
address 10.11.55.56
netmask 255.0.0.0
gateway 10.0.0.1

auto eth1
iface eth1 inet static
address 192.168.22.12
netmask 255.255.255.0

दोनों नोड्स के लिए / etc / मेजबान फ़ाइल:

127.0.0.1 localhost
10.11.55.55 node1.demo.local node1
10.11.55.56 node2.demo.local node2
192.168.22.11 node1-private
192.168.22.12 node2-private

पैकेज स्थापना:
apt-get -y install ntp ssh drbd8-utils heartbeat jfsutils

सर्वरों को रिबूट करें।

फ़ाइल के स्वामी और अनुमतियां बदलें:

chgrp haclient /sbin/drbdsetup
chmod ox /sbin/drbdsetup
chmod u+s /sbin/drbdsetup
chgrp haclient /sbin/drbdmeta
chmod ox /sbin/drbdmeta
chmod u+s /sbin/drbdmeta

हम कॉन्फ़िगरेशन का वर्णन करने के लिए /etc/drbd.conf का उपयोग करते हैं। हम 2 संसाधनों को परिभाषित करते हैं:
1. एक DRBD डिवाइस जिसमें iSCSI कॉन्फ़िगरेशन फ़ाइलें होंगी;
2. DRBD डिवाइस, जो हमारा iSCSI- लक्ष्य बन जाएगा।

नोड 1 के लिए:

/etc/drbd.conf:

resource iscsi.config {
protocol C;

handlers {
pri-on-incon-degr "echo o > /proc/sysrq-trigger ; halt -f";
pri-lost-after-sb "echo o > /proc/sysrq-trigger ; halt -f";
local-io-error "echo o > /proc/sysrq-trigger ; halt -f";
outdate-peer "/usr/lib/heartbeat/drbd-peer-outdater -t 5";
}

startup {
degr-wfc-timeout 120;
}

disk {
on-io-error detach;
}

net {
cram-hmac-alg sha1;
shared-secret "password";
after-sb-0pri disconnect;
after-sb-1pri disconnect;
after-sb-2pri disconnect;
rr-conflict disconnect;
}

syncer {
rate 100M;
verify-alg sha1;
al-extents 257;
}

on node1 {
device /dev/drbd0;
disk /dev/sdc1;
address 192.168.22.11:7788;
meta-disk /dev/sdb1[0];
}

on node2 {
device /dev/drbd0;
disk /dev/sdc1;
address 192.168.22.12:7788;
meta-disk /dev/sdb1[0];
}
}

resource iscsi.target.0 {
protocol C;

handlers {
pri-on-incon-degr "echo o > /proc/sysrq-trigger ; halt -f";
pri-lost-after-sb "echo o > /proc/sysrq-trigger ; halt -f";
local-io-error "echo o > /proc/sysrq-trigger ; halt -f";
outdate-peer "/usr/lib/heartbeat/drbd-peer-outdater -t 5";
}

startup {
degr-wfc-timeout 120;
}

disk {
on-io-error detach;
}

net {
cram-hmac-alg sha1;
shared-secret "password";
after-sb-0pri disconnect;
after-sb-1pri disconnect;
after-sb-2pri disconnect;
rr-conflict disconnect;
}

syncer {
rate 100M;
verify-alg sha1;
al-extents 257;
}

on node1 {
device /dev/drbd1;
disk /dev/sdd1;
address 192.168.22.11:7789;
meta-disk /dev/sdb1[1];
}

on node2 {
device /dev/drbd1;
disk /dev/sdd1;
address 192.168.22.12:7789;
meta-disk /dev/sdb1[1];
}
}

कॉन्फ़िगरेशन को दूसरे नोड में कॉपी करें:
scp /etc/drbd.conf root@10.11.55.56:/etc/

हम दोनों सर्वर पर मेटा-डेटा डिस्क को इनिशियलाइज़ करते हैं:

[node1]dd if=/dev/zero of=/dev/sd1
[node1]dd if=/dev/zero of=/dev/sdd1
[node1]drbdadm create-md iscsi.config
[node1]drbdadm create-md iscsi.target.0

[node2]dd if=/dev/zero of=/dev/sd1
[node2]dd if=/dev/zero of=/dev/sdd1
[node2]drbdadm create-md iscsi.config
[node2]drbdadm create-md iscsi.target.0

हम शुरू करते हैं:

[node1]/etc/init.d/drbd start
[node2]/etc/init.d/drbd start

अब आपको यह तय करने की आवश्यकता है कि डिस्क के बीच सिंक्रनाइज़ करने के लिए कौन सा सर्वर प्राथमिक के रूप में कार्य करेगा और कौन सा माध्यमिक होगा। मान लें कि प्राथमिक नोड 1 है।
पहले नोड पर कमांड चलाएँ:
[node1]drbdadm -- --overwrite-data-of-peer primary iscsi.config

टीम आउटपुट

cat /proc/drbd:

version: 8.3.9 (api:88/proto:86-95)
srcversion: CF228D42875CF3A43F2945A
0: cs:Connected ro: Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:1048542 nr:0 dw:0 dr:1048747 al:0 bm:64 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
1: cs:Connected ro:Secondary/Secondary ds:Inconsistent/Inconsistent C r-----
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:52428768

स्वरूपित करें और / dev / drbd0 विभाजन को माउंट करें:

[node1]mkfs.ext3 /dev/drbd0
[node1]mkdir -p /srv/data
[node1]mount /dev/drbd0 /srv/data

पहले नोड पर एक फ़ाइल बनाएं और फिर दूसरी को प्राथमिक मोड में स्विच करें:
[node1]dd if=/dev/zero of=/srv/data/test.zeros bs=1M count=100

नोड 1 के लिए:

[node1]umount /srv/data
[node1]drbdadm secondary iscsi.config

नोड 2 के लिए:

[node2]mkdir -p /srv/data
[node2]drbdadm primary iscsi.config
[node2]mount /dev/drbd0 /srv/data

दूसरे नोड पर, 100 एमबी आकार की एक फ़ाइल दिखाई देगी।
ls –l /srv/data

हम इसे हटाते हैं और फिर से पहले नोड पर जाते हैं:

नोड 2 पर:

[node2]rm /srv/data/test.zeros
[node2]umount /srv/data
[node2]drbdadm secondary iscsi.config

नोड 1 पर:

[node1]drbdadm primary iscsi.config
[node1]mount /dev/drbd0 /srv/data

कमांड ls / srv / data को रन करें। यदि विभाजन पर कोई डेटा नहीं है, तो प्रतिकृति सफल रही।

हम iSCSI- लक्ष्य की स्थापना के लिए आगे बढ़ते हैं। प्राथमिक के रूप में पहला नोड चुनें और विभाजन को सिंक्रनाइज़ करें:

[node1]drbdadm -- --overwrite-data-of-peer primary iscsi.target.0

cat /proc/drbd

version: 8.3.9 (api:88/proto:86-95)
srcversion: CF228D42875CF3A43F2945A
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:135933 nr:96 dw:136029 dr:834 al:39 bm:8 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
1: cs:SyncSource ro: Primary/Secondary ds:UpToDate/Inconsistent C r-----
ns:1012864 nr:0 dw:0 dr:1021261 al:0 bm:61 lo:1 pe:4 ua:64 ap:0 ep:1 wo:f oos:51416288
[>....................] sync'ed: 2.0% (50208/51196)M
finish: 0:08:27 speed: 101,248 (101,248) K/sec

चलो सिंक्रनाइज़ेशन की प्रतीक्षा करें ...

cat /proc/drbd

version: 8.3.9 (api:88/proto:86-95)
srcversion: CF228D42875CF3A43F2945A
0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:135933 nr:96 dw:136029 dr:834 al:39 bm:8 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
1: cs:Connected ro: Primary/Secondary ds:UpToDate/UpToDate C r-----
ns:52428766 nr:0 dw:0 dr:52428971 al:0 bm:3200 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

दोनों नोड्स पर iscsitarget पैकेज स्थापित करें:

[node1]apt-get -y install iscsitarget
[node2]apt-get -y install iscsitarget

हम iscsi को सेवा के रूप में शुरू करने के विकल्प को सक्षम करते हैं:

[node1]sed -is/false/true/ /etc/default/iscsitarget
[node2]sed -is/false/true/ /etc/default/iscsitarget

सभी स्क्रिप्ट से प्रविष्टियाँ हटाएं:

[node1]update-rc.d -f iscsitarget remove
[node2]update-rc.d -f iscsitarget remove

हम config फाइल को drbd सेक्शन में ले जाते हैं:

[node1]mkdir /srv/data/iscsi
[node1] mv /etc/iet/ietd.conf /srv/data/iscsi
[node1]ln -s /srv/data/iscsi/ietd.conf /etc/iet/ietd.conf
[node2]rm /etc/iet/ietd.conf
[node2]ln -s /srv/data/iscsi/ietd.conf /etc/iet/ietd.conf

हम फ़ाइल /srv/data/iscsi/ietd.conf में iSCSI- लक्ष्य का वर्णन करते हैं:

Target iqn.2011-08.local.demo:storage.disk.0
# IncomingUser geekshlby secret - ,
# OutgoingUser geekshlby password
Lun 0 Path=/dev/drbd1,Type=blockio
Alias disk0
MaxConnections 1
InitialR2T Yes
ImmediateData No
MaxRecvDataSegmentLength 8192
MaxXmitDataSegmentLength 8192
MaxBurstLength 262144
FirstBurstLength 65536
DefaultTime2Wait 2
DefaultTime2Retain 20
MaxOutstandingR2T 8
DataPDUInOrder Yes
DataSequenceInOrder Yes
ErrorRecoveryLevel 0
HeaderDigest CRC32C,None
DataDigest CRC32C,None
Wthreads 8

नोड विफल होने पर iSCSI लक्ष्य के वर्चुअल IP पते को नियंत्रित करने के लिए अब आपको दिल की धड़कन को कॉन्फ़िगर करने की आवश्यकता है।

हम /etc/heartbeat/ha.cf फ़ाइल में क्लस्टर का वर्णन करते हैं:

logfacility local0
keepalive 2
deadtime 30
warntime 10
initdead 120
bcast eth0
bcast eth1
node node1
node node2

प्रमाणीकरण तंत्र

/etc/heartbeat/authkeys:

auth 2
2 sha1 NoOneKnowsIt

फ़ाइल पर अनुमतियाँ बदलें / आदि / दिल की धड़कन / ऑर्किटेक्स:
chmod 600 /etc/heartbeat/authkeys

हम फाइल / etc / heartbeat / haresources में क्लस्टर संसाधनों का वर्णन करते हैं - मुख्य नोड, वर्चुअल IP, फ़ाइल सिस्टम और सेवाओं को लॉन्च किया जाएगा:

/etc/heartbeat/haresources

node1 drbddisk::iscsi.config Filesystem::/dev/drbd0::/srv/data::ext3
node1 IPaddr::10.11.55.50/8/eth0 drbddisk::iscsi.target.0 iscsitarget

कॉन्फ़िगरेशन को दूसरे नोड में कॉपी करें:

[node1]scp /etc/heartbeat/ha.cf root@10.11.55.56:/etc/heartbeat/
[node1]scp /etc/heartbeat/authkeys root@10.11.55.56:/etc/heartbeat/
[node1]scp /etc/heartbeat/haresources root@10.11.55.56:/etc/heartbeat/

अनमाउंट / srv / डेटा, पहले नोड को द्वितीयक बनाएं।
दिल की धड़कन शुरू
[node1]/etc/init.d/heartbeat start

हम दोनों सर्वरों को रिबूट करते हैं।

[node1]/etc/init.d/drbd start
[node2]/etc/init.d/drbd start

[node1]drbdadm secondary iscsi.config -
[node1]drbdadm secondary iscsi.target.0 -

[node2]drbdadm primary iscsi.config
[node2]drbdadm primary iscsi.target.0

[node1]cat /proc/drbd

[node1]/etc/init.d/heartbeat start

दिल की धड़कन शुरू करने के बाद, हम पहले नोड को प्राथमिक मोड में अनुवाद करते हैं, दूसरा - माध्यमिक (अन्यथा, यह शुरू नहीं होगा)।

[node2]drbdadm secondary iscsi.config
[node2]drbdadm secondary iscsi.target.0

[node1]drbdadm primary iscsi.config
[node1]drbdadm primary iscsi.target.0

पूंछ -f / var / लॉग / syslog देखें
हम इंतजार कर रहे हैं ...
कुछ समय बाद ...

Aug 26 08:32:14 node1 harc[11878]: info: Running /etc/ha.d//rc.d/ip-request-resp ip-request-resp
Aug 26 08:32:14 node1 ip-request-resp[11878]: received ip-request-resp IPaddr::10.11.55.50/8/eth0 OK yes
Aug 26 08:32:14 node1 ResourceManager[11899]: info: Acquiring resource group: node1 IPaddr::10.11.55.50/8/eth0 drbddisk::iscsi.target.0 iscsitarget
Aug 26 08:32:14 node1 IPaddr[11926]: INFO: Resource is stopped
Aug 26 08:32:14 node1 ResourceManager[11899]: info: Running /etc/ha.d/resource.d/IPaddr 10.11.55.50/8/eth0 start
Aug 26 08:32:14 node1 IPaddr[12006]: INFO: Using calculated netmask for 10.11.55.50: 255.0.0.0
Aug 26 08:32:14 node1 IPaddr[12006]: INFO: eval ifconfig eth0:0 10.11.55.50 netmask 255.0.0.0 broadcast 10.255.255.255
Aug 26 08:32:14 node1 avahi-daemon[477]: Registering new address record for 10.11.55.50 on eth0.IPv4.
Aug 26 08:32:14 node1 IPaddr[11982]: INFO: Success
Aug 26 08:32:15 node1 ResourceManager[11899]: info: Running /etc/init.d/iscsitarget start
Aug 26 08:32:15 node1 kernel: [ 5402.722552] iSCSI Enterprise Target Software - version 1.4.20.2
Aug 26 08:32:15 node1 kernel: [ 5402.723978] iscsi_trgt: Registered io type fileio
Aug 26 08:32:15 node1 kernel: [ 5402.724057] iscsi_trgt: Registered io type blockio
Aug 26 08:32:15 node1 kernel: [ 5402.724061] iscsi_trgt: Registered io type nullio
Aug 26 08:32:15 node1 heartbeat: [12129]: debug: notify_world: setting SIGCHLD Handler to SIG_DFL
Aug 26 08:32:15 node1 harc[12129]: info: Running /etc/ha.d//rc.d/ip-request-resp ip-request-resp
Aug 26 08:32:15 node1 ip-request-resp[12129]: received ip-request-resp IPaddr::10.11.55.50/8/eth0 OK yes
Aug 26 08:32:15 node1 ResourceManager[12155]: info: Acquiring resource group: node1 IPaddr::10.11.55.50/8/eth0 drbddisk::iscsi.target.0 iscsitarget
Aug 26 08:32:15 node1 IPaddr[12186]: INFO: Running OK
Aug 26 08:33:08 node1 ntpd[1634]: Listen normally on 11 eth0:0 10.11.55.50 UDP 123
Aug 26 08:33:08 node1 ntpd[1634]: new interface(s) found: waking up resolver

ifconfig
eth0 Link encap:Ethernet HWaddr 00:50:56:20:f9:6c
inet addr:10.11.55.55 Bcast:10.255.255.255 Mask:255.0.0.0
inet6 addr: fe80::20c:29ff:fe20:f96c/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:3622 errors:0 dropped:0 overruns:0 frame:0
TX packets:8081 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:302472 (302.4 KB) TX bytes:6943622 (6.9 MB)
Interrupt:19 Base address:0x2000

eth0:0 Link encap:Ethernet HWaddr 00:50:56:20:f9:6c
inet addr:10.11.55.50 Bcast:10.255.255.255 Mask:255.0.0.0
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
Interrupt:19 Base address:0x2000

eth1 Link encap:Ethernet HWaddr 00:50:56:20:f9:76
inet addr:192.168.22.11 Bcast:192.168.22.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe20:f976/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:1765 errors:0 dropped:0 overruns:0 frame:0
TX packets:3064 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:171179 (171.1 KB) TX bytes:492567 (492.5 KB)
Interrupt:19 Base address:0x2080

हम परिणामस्वरूप ईएससीएसआई-लक्ष्य को ईएसएक्स (आई) दोनों मेजबानों से जोड़ते हैं। दोनों मेजबानों द्वारा भंडारण को देखने के बाद, हम हा क्लस्टर को इकट्ठा करते हैं। हालाँकि स्वयं मेजबानों पर वर्चुअल मशीन बनाने के लिए कोई जगह नहीं बची है, लेकिन अब यह स्थान वर्चुअल स्टोरेज प्रतीत होता है। यदि कोई नोड विफल रहता है, तो दूसरे नोड पर वर्चुअल मशीन प्राथमिक मोड में जाएगी और iSCSI- लक्ष्य के रूप में काम करना जारी रखेगी।

Hdparm का उपयोग करते हुए, मैंने target'e पर स्थापित वर्चुअल मशीन में एक डिस्क की गति को मापा:

स्वाभाविक रूप से, ऐसी भंडारण प्रणाली गंभीर उत्पादन प्रणालियों के लिए उपयुक्त नहीं है। लेकिन अगर कोई भारी लोडेड वर्चुअल मशीन नहीं है या यदि एचए क्लस्टर बनाने की संभावना का परीक्षण करना आवश्यक है, तो साझा भंडारण प्रदान करने के इस तरीके को जीवन का अधिकार है।

इस सामग्री को पढ़ने के बाद, कई लोग शायद कहेंगे कि यह "गलत" है, "प्रदर्शन में कमियां होंगी", "दोनों नोड्स की विफलता की संभावना", आदि। हाँ! शायद यह ऐसा होगा, लेकिन किसी कारण से, VMware ने अपने संग्रहण उपकरण जारी किए हैं?

पुनश्च: वैसे, जो मैन्युअल रूप से सब कुछ फावड़ा करने के लिए बहुत आलसी है, DRBD क्लस्टर स्थापित करने के लिए एक प्रबंधन कंसोल है: http://www.drbd.org/mc/screenshot-gallery/ ।

madbug ,
वरिष्ठ सिस्टम इंजीनियर DEPO कंप्यूटर

DRBD पर आधारित मुफ्त प्रतिस्थापन VMware vSphere संग्रहण उपकरण

More articles: