लिनक्स पर विश्वसनीय iSCSI स्टोरेज बनाना, भाग 1

भाग दो

प्रस्तावना

आज मैं आपको बताऊंगा कि कैसे मैंने VMWare vSphere क्लस्टर की जरूरतों को पूरा करने के लिए दो लिनक्स-आधारित सर्वरों से एक बजट विफल-सुरक्षित iSCSI भंडारण बनाया। इसी तरह के लेख थे ( उदाहरण के लिए ), लेकिन मेरा दृष्टिकोण कुछ अलग है, और वहां उपयोग किए जाने वाले समाधान (एक ही दिल की धड़कन और iscsitarget) पहले से ही पुराने हैं।

यह लेख उन अनुभवी पर्याप्त व्यवस्थापकों के लिए है जो "पैच और कर्नेल को संकलित करते हैं" वाक्यांश से डरते नहीं हैं, हालांकि कुछ भागों को बिना संकलन के सरल और तिरस्कृत किया जा सकता है, लेकिन मैं लिखूंगा कि मैंने इसे कैसे किया। मैं कुछ सरल चीजों को छोड़ दूंगा ताकि सामग्री को न बढ़ाया जाए। इस लेख का उद्देश्य सामान्य सिद्धांतों को दिखाने के बजाय हर चीज को कदम दर कदम रेखांकित करना है।

परिचयात्मक

मेरी आवश्यकताएं सरल थीं: आभासी मशीनों के लिए एक क्लस्टर बनाएं जिसमें विफलता का एक भी बिंदु नहीं था। और एक बोनस के रूप में - भंडारण को डेटा एन्क्रिप्ट करने में सक्षम होना चाहिए ताकि दुश्मन, सर्वर को घसीट कर, उन तक न पहुंचे।

VSphere को हाइपरवाइजर के रूप में चुना गया था, सबसे अच्छी तरह से स्थापित और तैयार उत्पाद के रूप में, और iSCSI को प्रोटोकॉल के रूप में चुना गया था, क्योंकि इसमें FC या FCoE स्विच के रूप में अतिरिक्त वित्तीय इंजेक्शन की आवश्यकता नहीं होती है। ओपन सोर्स एसएएस लक्ष्य के साथ, यह अधिक तंग है, अगर खराब नहीं है, इसलिए यह विकल्प भी अस्वीकार कर दिया गया था।

संग्रहित रहा। अग्रणी विक्रेताओं से विभिन्न ब्रांडेड समाधानों को स्वयं की उच्च लागत और तुल्यकालिक प्रतिकृति के लिए लाइसेंस के कारण छोड़ दिया गया था। इसलिए हम इसे स्वयं करेंगे, और साथ ही हम सीखेंगे।

जैसा कि सॉफ्टवेयर चुना गया था:

• डेबियन व्हीज़ी + एलटीएस कोर 3.10
• iSCSI लक्ष्य SCST
• प्रतिकृति के लिए DRBD
• क्लस्टर संसाधन प्रबंधन और निगरानी के लिए पेसमेकर
• एन्क्रिप्शन के लिए डीएम-क्रिप्ट कोर सबसिस्टम (प्रोसेसर में एईएस-एनआई निर्देश हमें बहुत मदद करेंगे)

परिणामस्वरूप, एक छोटी सी पीड़ा में, ऐसी सरल योजना का जन्म हुआ:

यह दर्शाता है कि प्रत्येक सर्वर में 10 गीगाबिट इंटरफेस (2 बिल्ट-इन और अतिरिक्त नेटवर्क कार्ड पर 4) हैं। उनमें से 6 स्विच स्टैक (प्रत्येक से 3), और शेष 4 पड़ोसी सर्वर से जुड़े हैं।
उन पर DRBD के माध्यम से प्रतिकृति भी जाएगी। यदि वांछित है, तो प्रतिकृति कार्ड, 10-जीबीपीएस के साथ बदला जा सकता है, लेकिन मेरे पास ये हाथ थे, इसलिए "मैंने इसे अंधा कर दिया।"

इस प्रकार, किसी भी कार्ड की अचानक मृत्यु से किसी भी सबसिस्टम की पूर्ण अक्षमता नहीं होगी।

चूंकि इन भंडारण का मुख्य कार्य बड़े डेटा (फ़ाइल सर्वर, मेल अभिलेखागार, आदि) का विश्वसनीय भंडारण है, हमने 3.5 "डिस्क के साथ सर्वरों का चयन किया:

• सुपरमाइक्रो SC836E26-R1200 16 3.5 "ड्राइव के लिए संलग्नक
• सुपरमाइक्रो X9SRi-F मदरबोर्ड
• इंटेल प्रोसेसर E5-2620
• 4 x 8GB DDR3 ECC मेमोरी
• आपातकालीन फ्लैश कैश चमकती के लिए सुपरकैपेसिटर के साथ LSI 9271-8i RAID नियंत्रक
• 16 सीगेट नक्षत्र ES.3 3Tb एसएएस ड्राइव
• 2 x 4-पोर्ट इंटेल ईथरनेट I350-T4 नेटवर्क कार्ड

व्यापार के लिए

डिस्क

मैंने प्रत्येक सर्वर पर 8 डिस्क के दो RAID10 सरणियों का निर्माण किया।
के बाद से RAID6 मना करने का फैसला किया पर्याप्त जगह थी, और यादृच्छिक पहुँच कार्यों पर RAID10 का प्रदर्शन अधिक है। साथ ही, इस मामले में पुनर्निर्माण समय और लोड के नीचे केवल एक डिस्क पर जाता है, और एक बार में पूरे सरणी में नहीं।

सामान्य तौर पर, यहां हर कोई अपने लिए निर्णय लेता है।

नेटवर्क भाग

ISCSI प्रोटोकॉल के साथ, इसे गति देने के लिए बॉन्डिंग / इथरचैनल का उपयोग करने का कोई मतलब नहीं है।
कारण सरल है - यह चैनलों पर पैकेट वितरित करने के लिए हैश फ़ंक्शंस का उपयोग करता है, इसलिए ऐसे आईपी / मैक पते का चयन करना बहुत मुश्किल है ताकि आईपी 1 से आईपी 2 तक का पैकेट एक चैनल पर जाए, और दूसरे पर आईपी 1 से आईपी 3 तक।
यहां तक ​​कि सिस्को पर एक कमांड भी है जो आपको यह देखने की अनुमति देता है कि पैकेट को उड़ाने वाले एथरचैनल में से कौन-सा इंटरफेस होगा:

# test etherchannel load-balance interface port-channel 1 ip 10.1.1.1 10.1.1.2 Would select Gi2/1/4 of Po1 

इसलिए, हमारे उद्देश्यों के लिए, LUN के लिए कई रास्तों का उपयोग करना बेहतर है, जिसे हम कॉन्फ़िगर करेंगे।

स्विच पर, मैंने 6 वीएलएएन (सर्वर के प्रत्येक बाहरी इंटरफ़ेस के लिए एक) बनाया:

 stack-3750x# sh vlan | i iSCSI 24 iSCSI_VLAN_1 active 25 iSCSI_VLAN_2 active 26 iSCSI_VLAN_3 active 27 iSCSI_VLAN_4 active 28 iSCSI_VLAN_5 active 29 iSCSI_VLAN_6 active 

बहुमुखी प्रतिभा के लिए इंटरफेस बनाए गए थे और बाद में कुछ और देखा जाएगा:

 interface GigabitEthernet1/0/11 description VMSTOR1-1 switchport trunk encapsulation dot1q switchport mode trunk switchport nonegotiate flowcontrol receive desired spanning-tree portfast trunk end 

सर्वर पर लोड को कम करने के लिए स्विच पर MTU को अधिकतम सेट किया जाना चाहिए (अधिक पैकेट -> प्रति सेकंड कम पैकेट -> कम रुकावट उत्पन्न होता है)। मेरे मामले में, यह 9198 है:

 (config)# system mtu jumbo 9198 

ESXi 9000 से अधिक MTUs का समर्थन नहीं करता है, इसलिए अभी भी कुछ मार्जिन है।

प्रत्येक वीएलएएन को एक पता स्थान सौंपा गया था, सादगी के लिए यह इस तरह दिखता है: 10.1। VLAN_ID .0 / 24 (उदाहरण के लिए, 10.1.24.0/24)। पतों की कमी के साथ, आप छोटे सबनेट के भीतर रख सकते हैं, लेकिन यह अधिक सुविधाजनक है।

प्रत्येक LUN को एक अलग iSCSI लक्ष्य द्वारा दर्शाया जाएगा, इसलिए प्रत्येक सामान्य लक्ष्य को "सामान्य" क्लस्टर पतों के साथ चुना गया है, जो वर्तमान में इस लक्ष्य को पूरा करने वाले नोड पर उठाया जाएगा: 10.1। VLAN_ID .10 और 10.1। VLAN_ID ।20

इसके अलावा, सर्वर के प्रबंधन के लिए स्थायी पते होंगे, मेरे मामले में यह 10.1.0.100/24 ​​और .200 (एक अलग वीएलएएन में) है

मुलायम

इसलिए, यहां हम दोनों सर्वरों को न्यूनतम रूप में डेबियन स्थापित करते हैं, मैं इस पर विस्तार से ध्यान नहीं दूंगा।

पैकेज विधानसभा

मैंने एक अलग वर्चुअल मशीन पर विधानसभा का संचालन किया, ताकि संकलक और स्रोतों के साथ सर्वर को अव्यवस्थित न किया जाए।
डेबियन के तहत कर्नेल का निर्माण करने के लिए, यह आवश्यक-आवश्यक मेटा-पैकेज लगाने के लिए पर्याप्त है और, शायद, कुछ और, मुझे बिल्कुल याद नहीं है।

Kern.org से नवीनतम कर्नेल 3.10 डाउनलोड करें: और इसे अनपैक करें:

 # cd /usr/src/ # wget https://www.kernel.org/pub/linux/kernel/v3.x/linux-3.10.27.tar.xz # tar xJf linux-3.10.27.tar.xz 

अगला, एसवीएन के माध्यम से स्थिर एससीएसटी शाखा का नवीनतम संशोधन डाउनलोड करें, हमारे कर्नेल संस्करण के लिए एक पैच उत्पन्न करें और इसे लागू करें:

 # svn checkout svn://svn.code.sf.net/p/scst/svn/branches/2.2.x scst-svn # cd scst-svn # scripts/generate-kernel-patch 3.10.27 > ../scst.patch # cd linux-3.10.27 # patch -Np1 -i ../scst.patch 

अब iscsi-scstd डेमॉन का निर्माण करें:

 # cd scst-svn/iscsi-scst/usr # make 

परिणामस्वरूप iscsi-scstd को सर्वर पर रखना होगा, उदाहरण के लिए / opt / scst में

इसके बाद, अपने सर्वर के लिए कर्नेल को कॉन्फ़िगर करें।
एन्क्रिप्शन चालू करें (यदि आवश्यक हो)।

SCST और DRBD के लिए इन विकल्पों को शामिल करना न भूलें:

 CONFIG_CONNECTOR=y CONFIG_SCST=y CONFIG_SCST_DISK=y CONFIG_SCST_VDISK=y CONFIG_SCST_ISCSI=y CONFIG_SCST_LOCAL=y 

हम इसे एक .deb पैकेज के रूप में इकट्ठा करते हैं (इसके लिए आपको एक ही समय में फ़ेकरूट, कर्नेल-पैकेज और डीचेलर को स्थापित करने की आवश्यकता है):

 # fakeroot make-kpkg clean prepare # fakeroot make-kpkg --us --uc --stem=kernel-scst --revision=1 kernel_image 

आउटपुट पर हमें कर्नेल-स्कस्ट-इमेज-3.10.27_1_amd64.deb पैकेज मिलता है

अगला, हम DRBD के लिए पैकेज एकत्र करते हैं:

 # wget http://oss.linbit.com/drbd/8.4/drbd-8.4.4.tar.gz # tar xzf drbd-8.4.4.tar.gz # cd drbd-8.4.4 # dh_make --native --single    Enter 

हम डेबियन / नियम फ़ाइल को निम्न स्थिति में बदलते हैं (वहां एक मानक फ़ाइल है, लेकिन यह कर्नेल मॉड्यूल एकत्र नहीं करता है):

 #!/usr/bin/make -f #     export KDIR="/usr/src/linux-3.10.27" override_dh_installdocs: <  ,     > override_dh_installchangelogs: <  > override_dh_auto_configure: ./configure \ --prefix=/usr \ --localstatedir=/var \ --sysconfdir=/etc \ --with-pacemaker \ --with-utils \ --with-km \ --with-udev \ --with-distro=debian \ --without-xen \ --without-heartbeat \ --without-legacy_utils \ --without-rgmanager \ --without-bashcompletion %: dh $@ 

Makefile.in फ़ाइल में, हम SUBDIRS वैरिएबल को ठीक करेंगे, इसमें से डॉक्यूमेंटेशन निकालेंगे, अन्यथा डॉक्यूमेंटेशन पर एक शाप के साथ पैकेज को एकत्र नहीं किया जाएगा।

हम एकत्रित करते हैं:

 # dpkg-buildpackage -us -uc -b 

हमें पैकेज drbd_8.4.4_amd64.deb मिलता है

यही है, आपको कुछ और इकट्ठा करने की ज़रूरत नहीं है, दोनों पैकेजों को सर्वर पर कॉपी करें और इंस्टॉल करें:

 # dpkg -i kernel-scst-image-3.10.27_1_amd64.deb # dpkg -i drbd_8.4.4_amd64.deb 

सर्वर कॉन्फ़िगरेशन

नेटवर्क

इंटरफेस का नाम बदलकर /etc/udev/rules.d/70-persistent-net.rules इस प्रकार किया गया:
int1-6 स्विच पर जाएं, और drbd1-4 पड़ोसी सर्वर पर जाएं।

/ etc / नेटवर्क / इंटरफेस में एक बहुत ही भयावह उपस्थिति है, जिसे आपने सपने में भी नहीं सोचा था:

 auto lo iface lo inet loopback # Interfaces auto int1 iface int1 inet manual up ip link set int1 mtu 9000 up down ip link set int1 down auto int2 iface int2 inet manual up ip link set int2 mtu 9000 up down ip link set int2 down auto int3 iface int3 inet manual up ip link set int3 mtu 9000 up down ip link set int3 down auto int4 iface int4 inet manual up ip link set int4 mtu 9000 up down ip link set int4 down auto int5 iface int5 inet manual up ip link set int5 mtu 9000 up down ip link set int5 down auto int6 iface int6 inet manual up ip link set int6 mtu 9000 up down ip link set int6 down # Management interface auto int1.2 iface int1.2 inet manual up ip link set int1.2 mtu 1500 up down ip link set int1.2 down vlan_raw_device int1 auto int2.2 iface int2.2 inet manual up ip link set int2.2 mtu 1500 up down ip link set int2.2 down vlan_raw_device int2 auto int3.2 iface int3.2 inet manual up ip link set int3.2 mtu 1500 up down ip link set int3.2 down vlan_raw_device int3 auto int4.2 iface int4.2 inet manual up ip link set int4.2 mtu 1500 up down ip link set int4.2 down vlan_raw_device int4 auto int5.2 iface int5.2 inet manual up ip link set int5.2 mtu 1500 up down ip link set int5.2 down vlan_raw_device int5 auto int6.2 iface int6.2 inet manual up ip link set int6.2 mtu 1500 up down ip link set int6.2 down vlan_raw_device int6 auto bond_vlan2 iface bond_vlan2 inet static address 10.1.0.100 netmask 255.255.255.0 gateway 10.1.0.1 slaves int1.2 int2.2 int3.2 int4.2 int5.2 int6.2 bond-mode active-backup bond-primary int1.2 bond-miimon 100 bond-downdelay 200 bond-updelay 200 mtu 1500 # iSCSI auto int1.24 iface int1.24 inet manual up ip link set int1.24 mtu 9000 up down ip link set int1.24 down vlan_raw_device int1 auto int2.25 iface int2.25 inet manual up ip link set int2.25 mtu 9000 up down ip link set int2.25 down vlan_raw_device int2 auto int3.26 iface int3.26 inet manual up ip link set int3.26 mtu 9000 up down ip link set int3.26 down vlan_raw_device int3 auto int4.27 iface int4.27 inet manual up ip link set int4.27 mtu 9000 up down ip link set int4.27 down vlan_raw_device int4 auto int5.28 iface int5.28 inet manual up ip link set int5.28 mtu 9000 up down ip link set int5.28 down vlan_raw_device int5 auto int6.29 iface int6.29 inet manual up ip link set int6.29 mtu 9000 up down ip link set int6.29 down vlan_raw_device int6 # DRBD bonding auto bond_drbd iface bond_drbd inet static address 192.168.123.100 netmask 255.255.255.0 slaves drbd1 drbd2 drbd3 drbd4 bond-mode balance-rr mtu 9216 

चूंकि हम सर्वर प्रबंधन के लिए दोष सहिष्णुता भी चाहते हैं, इसलिए हम एक सैन्य चाल का उपयोग करते हैं: सक्रिय-बैकअप मोड में बॉन्डिंग में, हम स्वयं इंटरफेस नहीं, बल्कि वीएलएएन सबइंटरफेसेस इकट्ठा करते हैं। इस प्रकार, सर्वर तब तक उपलब्ध होगा जब तक कि कम से कम एक इंटरफ़ेस चल रहा हो। यह निरर्थक है, लेकिन पर्कुआ नहीं होगा। और एक ही समय में, एक ही इंटरफेस को iSCSI ट्रैफ़िक के लिए स्वतंत्र रूप से उपयोग किया जा सकता है।

प्रतिकृति के लिए, bond_drbd इंटरफ़ेस को बैलेंस-आरआर मोड में बनाया गया था, जिसमें पैकेटों को सभी इंटरफेस में मूर्खतापूर्ण क्रमिक रूप से भेजा जाता है। उन्हें ग्रे नेटवर्क / 24 से एक पता सौंपा गया था, लेकिन एक के रूप में / 30 या 31 के साथ कर सकता था केवल दो मेजबान होंगे।

चूंकि यह कभी-कभी पैकेटों को मोड़ से बाहर आने की ओर ले जाता है, हम /etc/sysctl.conf में असाधारण पैकेटों के बफर को बढ़ाते हैं। नीचे मैं पूरी फाइल देता हूं, जो विकल्प मैं समझाता हूं, बहुत लंबे समय तक नहीं। आप चाहें तो इसे स्वयं पढ़ सकते हैं।

 net.ipv4.tcp_reordering = 127 net.core.rmem_max = 33554432 net.core.wmem_max = 33554432 net.core.rmem_default = 16777216 net.core.wmem_default = 16777216 net.ipv4.tcp_rmem = 131072 524288 33554432 net.ipv4.tcp_wmem = 131072 524288 33554432 net.ipv4.tcp_no_metrics_save = 1 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_timestamps = 0 net.ipv4.tcp_sack = 0 net.ipv4.tcp_dsack = 0 net.ipv4.tcp_fin_timeout = 15 net.core.netdev_max_backlog = 300000 vm.min_free_kbytes = 720896 

परीक्षण के परिणामों के अनुसार, प्रतिकृति इंटरफ़ेस कहीं 3.7 जीबी / एस का उत्पादन करता है, जो काफी स्वीकार्य है।

चूंकि हमारे पास एक मल्टी-कोर सर्वर है, और नेटवर्क कार्ड और एक RAID नियंत्रक कई कतारों के बीच व्यवधान के प्रसंस्करण को अलग कर सकते हैं, एक स्क्रिप्ट लिखी गई थी जो लिंक कर्नेल के लिए बाधित करती है:

 #!/usr/bin/perl -w use strict; use warnings; my $irq = 77; my $ifs = 11; my $queues = 6; my $skip = 1; my @tmpl = ("0", "0", "0", "0", "0", "0"); print "Applying IRQ affinity...\n"; for(my $if = 0; $if < $ifs; $if++) { for(my $q = 0; $q < $queues; $q++, $irq++) { my @tmp = @tmpl; $tmp[$q] = 1; my $mask = join("", @tmp); my $hexmask = bin2hex($mask); #print $irq . " -> " . $hexmask . "\n"; open(OUT, ">/proc/irq/".$irq."/smp_affinity"); print OUT $hexmask."\n"; close(OUT); } $irq += $skip; } sub bin2hex { my ($bin) = @_; return sprintf('%x', oct("0b".scalar(reverse($bin)))); } 

डिस्क

डिस्क निर्यात करने से पहले, हम उन्हें एन्क्रिप्ट करेंगे और हर फायरमैन के लिए मास्टर कीज़ सुरक्षित करेंगे:

 # cryptsetup luksFormat --cipher aes-cbc-essiv:sha256 --hash sha256 /dev/sdb # cryptsetup luksFormat --cipher aes-cbc-essiv:sha256 --hash sha256 /dev/sdc # cryptsetup luksHeaderBackup /dev/sdb --header-backup-file /root/header_sdb.bin # cryptsetup luksHeaderBackup /dev/sdc --header-backup-file /root/header_sdc.bin 

पासवर्ड खोपड़ी के अंदर लिखा जाना चाहिए और कभी नहीं भूलना चाहिए, और कुंजी बैकअप को नरक में छिपाया जाना चाहिए।
यह ध्यान में रखना होगा कि मास्टर कुंजी के बैकअप अनुभागों पर पासवर्ड बदलने के बाद, पुराने पासवर्ड को डिक्रिप्ट करना संभव होगा।

अगला, डिक्रिप्शन को आसान बनाने के लिए एक स्क्रिप्ट लिखी गई थी:

 #!/usr/bin/perl -w use strict; use warnings; use IO::Prompt; my %crypto_map = ( '1bd1f798-d105-4150-841b-f2751f419efc' => 'VM_STORAGE_1', 'd7fcdb2b-88fd-4d19-89f3-5bdf3ddcc456' => 'VM_STORAGE_2' ); my $i = 0; my $passwd = prompt('Password: ', '-echo' => '*'); foreach my $dev (sort(keys(%crypto_map))) { $i++; if(-e '/dev/mapper/'.$crypto_map{$dev}) { print "Mapping '".$crypto_map{$dev}."' already exists, skipping\n"; next; } my $ret = system('echo "'.$passwd.'" | /usr/sbin/cryptsetup luksOpen /dev/disk/by-uuid/'.$dev.' '.$crypto_map{$dev}); if($ret == 0) { print $i . ' Crypto mapping '.$dev.' => '.$crypto_map{$dev}.' added successfully' . "\n"; } else { print $i . ' Failed to add mapping '.$dev.' => '.$crypto_map{$dev} . "\n"; exit(1); } } 

स्क्रिप्ट UUIDs के साथ काम करती है जो हमेशा सिस्टम में एक डिस्क को / dev / sd * के बिना बाइंडिंग के हमेशा विशिष्ट पहचान देती है।

एन्क्रिप्शन गति प्रोसेसर की आवृत्ति और कोर की संख्या पर निर्भर करती है, और रिकॉर्डिंग को पढ़ने की तुलना में बेहतर ढंग से समानांतर किया जाता है। आप जाँच सकते हैं कि सर्वर निम्नलिखित सरल तरीके से कितनी तेजी से प्रयास करता है:

   ,       ,     # echo "0 268435456 zero" | dmsetup create zerodisk        # cryptsetup --cipher aes-cbc-essiv:sha256 --hash sha256 create zerocrypt /dev/mapper/zerodisk Enter passphrase: < >  : # dd if=/dev/zero of=/dev/mapper/zerocrypt bs=1M count=16384 16384+0 records in 16384+0 records out 17179869184 bytes (17 GB) copied, 38.3414 s, 448 MB/s # dd of=/dev/null if=/dev/mapper/zerocrypt bs=1M count=16384 16384+0 records in 16384+0 records out 17179869184 bytes (17 GB) copied, 74.5436 s, 230 MB/s 

जैसा कि आप देख सकते हैं, गति इतनी गर्म नहीं है, लेकिन वे शायद ही कभी अभ्यास में हासिल की जाएंगी आमतौर पर यादृच्छिक अभिगम प्रबल होता है।

तुलना के लिए, हसवेल कोर पर नए Xeon E3-1270 v3 पर एक ही परीक्षण के परिणाम:

 # dd if=/dev/zero of=/dev/mapper/zerocrypt bs=1M count=16384 16384+0 records in 16384+0 records out 17179869184 bytes (17 GB) copied, 11.183 s, 1.5 GB/s # dd of=/dev/null if=/dev/mapper/zerocrypt bs=1M count=16384 16384+0 records in 16384+0 records out 17179869184 bytes (17 GB) copied, 19.4902 s, 881 MB/s 

खैर, यहाँ यह बहुत अधिक मजेदार है। आवृत्ति स्पष्ट रूप से एक निर्णायक कारक है।
और यदि आप एईएस-एनआई को निष्क्रिय करते हैं, तो यह कई बार धीमा होगा।

केडंप

हम प्रतिकृति को कॉन्फ़िगर करते हैं, दोनों सिरों से कॉन्फ़िगरेशन 100% समान होना चाहिए।

/etc/drbd.d/global_common.conf

 global { usage-count no; } common { protocol B; handlers { } startup { wfc-timeout 10; } disk { c-plan-ahead 0; al-extents 6433; resync-rate 400M; disk-barrier no; disk-flushes no; disk-drain yes; } net { sndbuf-size 1024k; rcvbuf-size 1024k; max-buffers 8192; # x PAGE_SIZE max-epoch-size 8192; # x PAGE_SIZE unplug-watermark 8192; timeout 100; ping-int 15; ping-timeout 60; # x 0.1sec connect-int 15; timeout 50; # x 0.1sec verify-alg sha1; csums-alg sha1; data-integrity-alg crc32c; cram-hmac-alg sha1; shared-secret "ultrasuperdupermegatopsecretpassword"; use-rle; } } 

यहां सबसे दिलचस्प पैरामीटर प्रोटोकॉल है, उनकी तुलना करें।

रिकॉर्डिंग को सफल माना जाता है यदि ब्लॉक रिकॉर्ड किया गया था ...

• A - लोकल डिस्क पर और लोकल सेंड बफर को हिट करें
• बी - स्थानीय डिस्क पर और रिमोट प्राप्त बफर में मिला
• सी - स्थानीय और दूरस्थ डिस्क के लिए

सबसे धीमा (पढ़ें - उच्च विलंबता) और, एक ही समय में, विश्वसनीय सी है , और मैंने बीच का मैदान चुना।

अगला उन संसाधनों की परिभाषा है जो DRBD और उनके प्रतिकृति में शामिल नोड्स पर काम करते हैं।

/etc/drbd.d/VM_STORAGE_1.res

 resource VM_STORAGE_1 { device /dev/drbd0; disk /dev/mapper/VM_STORAGE_1; meta-disk internal; on vmstor1 { address 192.168.123.100:7801; } on vmstor2 { address 192.168.123.200:7801; } } 

/etc/drbd.d/VM_STORAGE_2.res

 resource VM_STORAGE_2 { device /dev/drbd1; disk /dev/mapper/VM_STORAGE_2; meta-disk internal; on vmstor1 { address 192.168.123.100:7802; } on vmstor2 { address 192.168.123.200:7802; } } 

प्रत्येक संसाधन का अपना पोर्ट होता है।

अब हम DRBD संसाधन मेटाडेटा को इनिशियलाइज़ करते हैं और इसे सक्रिय करते हैं, यह प्रत्येक सर्वर पर किया जाना चाहिए:

 # drbdadm create-md VM_STORAGE_1 # drbdadm create-md VM_STORAGE_2 # drbdadm up VM_STORAGE_1 # drbdadm up VM_STORAGE_2 

अगला, आपको एक सर्वर का चयन करने की आवश्यकता है (आप प्रत्येक संसाधन के लिए एक हो सकते हैं) और यह निर्धारित करते हैं कि यह मुख्य है और प्राथमिक सिंक्रनाइज़ेशन इसे दूसरे से जाएगा:

 # drbdadm primary --force VM_STORAGE_1 # drbdadm primary --force VM_STORAGE_2 

सब कुछ, चलो चलते हैं, सिंक्रनाइज़ेशन शुरू हो गया है।
सरणियों के आकार और नेटवर्क की गति के आधार पर, एक लंबा या बहुत लंबा समय लगेगा।

इसकी प्रगति घड़ी -n0.1 बिल्ली / proc / drbd कमांड के साथ देखी जा सकती है, यह बहुत शांत और दार्शनिक है।
सिद्धांत रूप में, उपकरणों को पहले से ही सिंक्रनाइज़ेशन प्रक्रिया में इस्तेमाल किया जा सकता है, लेकिन मैं आपको आराम करने की सलाह देता हूं :)

पहले भाग का अंत

एक टुकड़े के लिए, मुझे लगता है कि यह पर्याप्त है। और इतनी जानकारी पहले से ही अवशोषित है।

दूसरे भाग में मैं इस शेयर के साथ काम करने के लिए ESXi क्लस्टर मैनेजर और होस्ट को कॉन्फ़िगर करने के बारे में बात करूंगा।