csync2 या क्लस्टर के साथ काम को कैसे सुगम बनाया जाए

ऐसा नहीं है कि बहुत पहले मुझे एक लोड किए गए प्रोजेक्ट के लिए लिनक्स क्लस्टर उठाना पड़ा था। बल्कि, लोड की तुलना में गलती सहिष्णुता का मुद्दा अधिक महत्वपूर्ण था, लेकिन आमतौर पर क्लस्टर को एक ही समय में इन दोनों समस्याओं को हल करने के लिए डिज़ाइन किया गया है।
इस मामले में, मैं क्लस्टर आर्किटेक्चर या डीबगिंग की बारीकियों पर विचार नहीं करने जा रहा हूं, लेकिन क्लस्टर को प्रबंधित करने के लिए बहुत सुविधाजनक तरीके से बात करने के लिए, इसके कॉन्फ़िगरेशन और डीबगिंग को गति दें।

सहमत हैं, फ़ाइलों का एक सेट (उदाहरण के लिए, कॉन्फ़िगर करना) सुविधाजनक है जो हमेशा एक ही भूमिका वाले सर्वर पर समान दिखेंगे? कटौती के तहत, मैं आपको बताऊंगा कि कम से कम समय में इसे कैसे प्राप्त किया जाए।

वर्णित क्लस्टर में, सात समर्पित सर्वर हैं जो निम्नलिखित होस्टनाम के साथ आंतरिक नेटवर्क पर एक दूसरे के साथ संवाद करते हैं:

Load Balancers lb1 lb2
Application Servers app1 app2
Database Servers db1 db2
Backup server bckp1

और आज की कहानी का नायक csync2 है , एक पुराना कार्यक्रम है जो कई निक्स रिपॉजिटरी में उपलब्ध है, और इसे टारबॉल के रूप में या गिट रिपॉजिटरी से भी डाउनलोड किया जा सकता है ।

तो, एक चरण-दर-चरण मार्गदर्शिका csync2 से स्थापित करने, कॉन्फ़िगर करने और लाभान्वित करने के लिए।

स्थापना

स्थापना क्लस्टर के सभी नोड्स पर की जानी चाहिए:

डेबियन \ ubuntu रिपॉजिटरी से

apt-get install csync2 -y

स्रोत से

स्थापित करने से पहले, सुनिश्चित करें कि आपके सिस्टम पर librsync मौजूद है
अन्यथा, आपको librsync-0.9.7.tar.gz डाउनलोड करना होगा ,
और इसे स्थापित करें
tar -xf librsync-0.9.7.tar.gz && cd librsync-0.9.7
./configure && make
make install

Csync2 भी libsqlite की उम्मीद करता है , जिसे स्रोत से भी संकलित किया जा सकता है:
wget www.sqlite.org/sqlite-autoconf-3070603.tar.gz && tar -xf sqlite-autoconf-3070603.tar.gz && cd sqlite-autoconf-3070603
./configure && make
make install

और आप विन्यास (./configure)।
./configure --with-libsqlite-source=/path/to/libsqlite.tar.gz

मुझे कोई अन्य आवश्यकता नहीं मिली, और उम्र के कारण कार्यक्रम में अधिकांश OS ( RedHat RPM , apt-get \ aptitude install csync2, FreeBSD पोर्ट ) के लिए पैकेज तैयार हो गए हैं

CSync2 स्वयं संकलित करें
cd /usr/local/src && wget oss.linbit.com/csync2/csync2-1.34.tar.gz
tar -xf csync2-1.34.tar.gz && cd csync2-1.34
./configure && make
make install


मैंने Ubuntu 10.04 LTS के तहत सभी ऑपरेशन किए, जहाँ csync2 एक पंक्ति में स्थापित है।
अगर आपके ओएस पर कुछ गलत हुआ है - टिप्पणियों में लिखें, मैं मदद करने की कोशिश करूंगा।

प्रारंभिक सेटअप

इसलिए हमारे पास सभी नोड्स पर csync2 स्थापित है, हमें उन्हें एक साथ जोड़ने और उन्हें एक दूसरे के साथ फ़ाइलों का आदान-प्रदान करने की आवश्यकता है।

csync2 एक एन्क्रिप्टेड SSL कनेक्शन के माध्यम से फ़ाइलों का आदान-प्रदान करता है, इसलिए आपको एक एकल csync2 प्रमाणपत्र बनाने की आवश्यकता होती है जो सर्वरों को एक-दूसरे पर "विश्वास" करने की अनुमति देता है:

निर्देशों के अनुसार, आप स्रोत फ़ोल्डर में कमांड चला सकते हैं
make cert
या (जैसा मैंने किया था), प्रमाण पत्र मैन्युअल रूप से उत्पन्न करें:
openssl genrsa -out /etc/csync2_ssl_key.pem 1024
openssl req -new -key /etc/csync2_ssl_key.pem -out /etc/csync2_ssl_cert.csr
openssl x509 -req -days 600 -in /etc/csync2_ssl_cert.csr -signkey /etc/csync2_ssl_key.pem -out /etc/csync2_ssl_cert.pem

फिर आपको csync2 मुख्य पीढ़ी शुरू करने की आवश्यकता है:
csync2 -k /etc/csync2.cluster.key

इस कमांड को पूरा होने में काफी समय लगता है, जिसके बाद /etc/csync2.cluster.key फ़ाइल दिखाई देती है ।

अब आपको इसे अपने क्लस्टर के सभी नोड्स पर कॉपी करने की आवश्यकता है ताकि वे सिंक्रनाइज़ेशन के एक ही बादल में दिखाई दें। आप कई कुंजी बना सकते हैं, उदाहरण के लिए, डेटाबेस सर्वर अनुप्रयोग सर्वर के साथ संवाद नहीं कर सकते, लेकिन मेरी राय में यह बिल्कुल भी आवश्यक नहीं है अगर आप बैंक के लिए क्लस्टर नहीं बना रहे हैं।

पहला सिंक

सबसे महत्वपूर्ण प्रोग्राम फ़ाइल /etc/csync2.cnf है
यह निम्नलिखित सिद्धांत के अनुसार काम करता है।
क्या आप तार्किक सर्वर समूहों को परिभाषित करते हैं और इंगित करते हैं कि उनके पास क्या है?
उदाहरण के लिए, मैं IP द्वारा आंतरिक पते का उपयोग नहीं करता, लेकिन क्रमशः hostname द्वारा, मैं चाहता हूं कि मेरे सभी-सभी मशीनों पर फ़ाइल / etc / मेजबान समान हों, और जब मैं एक नया नोड जोड़ता हूं, तो मुझे इसे एक बार बदलने की आवश्यकता है, सभी परिवर्तन लीक होंगे अन्य क्लस्टर नोड्स और उन्हें पता था कि ऐप्प 3 कौन था , उदाहरण के लिए।
LoadBalancers पर मैंने nginx स्थापित किया है, जिसमें विभिन्न मशीनों पर समान कॉन्फ़िगरेशन होना चाहिए।

तो विन्यास फाइल में, मैं अपने सर्वर को तार्किक समूहों में विलय करता हूं:
# सभी सर्वर कॉन्फ़िगर के मूल सेट को सिंक्रनाइज़ करते हैं
group all {
# IP,
host app1 app2;
host db1 db2;
host lb1 lb2;
host bckp1;

#
key /etc/csync2.cluster.key;

# \ ?
include /etc/hosts; # hosts
include /etc/csync2.cfg; # ! csync2 ! ;)

auto younger;# ? -
}

# LoadBalancer' nginx
group lb {
host lb1 lb2;

key /etc/csync2.cluster.key;

include /etc/nginx/*;
auto younger;
}

अब सबकुछ सिंक्रनाइज़ करने के संकेत के साथ csync2 चलाएं जो सिंक्रनाइज़ किया जा सकता है:
csync2 -x

प्रारंभिक प्राधिकरण के बाद, सभी होस्ट सिंक्रनाइज़ किए जाते हैं और आपके द्वारा निर्दिष्ट फाइलें सभी नोड्स पर समान हो जाती हैं।

संभावित समस्याएं

अगर कुछ गलत हुआ, तो भागो
csync2 -xv
csync2 -xvv
आदि

I csync2 ने अन्य मशीनों पर / etc / host पर लिखने की पहुँच की कमी के कारण शपथ ली, इस समस्या का समाधान स्वयं ही करने के बाद csync2 भी उन पर पहली बार चला।
यदि SSL पर csync2 शपथ लेता है - जांचें कि क्या फ़ाइल /etc/csync2.cluster.key को सभी होस्टों में कॉपी किया गया है और यदि यह सही रूप से कॉन्फिगर में निर्दिष्ट है।

मेरे पास कोई अन्य समस्या नहीं है, अगर आपके पास कुछ और है - लिखो, तो हम इसका पता लगाएंगे।

उपहार

सभी आवश्यक कॉन्फिगरिंग को सिंक करना अच्छा है, मैंने mysql, php, nginx वगैरह से csync2 कॉन्फिग में डाला। यह CSync2 से ही (लगभग पुनरावर्तन) में csync2 से कॉन्फिगर करने के लिए बहुत सुविधाजनक निकला।
लेकिन सिर्फ फाइलों को सिंक करना सभी के लिए नहीं है।
नेगनेक्स फ़ाइलों को बदलने के बाद, आपको इसे पुनरारंभ करने की आवश्यकता है! और अगर आपको सौ मशीनों पर ऐसा करने की आवश्यकता है?

सर्वर के समूह में उसी भूमिका के साथ जिस पर nginx स्थापित है, जोड़ें:
group lb {
host lb1;
host lb2;
key /etc/csync2.cluster.key;

include /etc/nginx; #
action {
pattern /etc/nginx/*; # , ?
exec "/etc/init.d/nginx reload "; # ?
logfile "/var/log/csync2.actions.log"; # ?
do-local; # , , , ,
}
auto younger;
}

अद्भुत एक्शन आइटम हमें कुछ फ़ाइलों में बदलाव के बाद एक मनमाना बैश कमांड निष्पादित करने की अनुमति देता है, संकेतित उदाहरण में यह नगीनक्स को फिर से लोड करेगा।

कृपया ध्यान दें कि पुनः लोड कमांड निष्पादित किया जाता है, पुनः आरंभ नहीं। अगर, भगवान न करे, तो आप नगीन विन्यास में अल्पविराम नहीं लगाते हैं और यह एक सौ मशीनों पर क्रैश हो जाता है, आप जल्दी से त्रुटि को ठीक भी कर देंगे और सौ मशीनों पर यह ठीक हो जाएगा। सिद्धांत रूप में, csync2 कॉन्फ़िगरेशन को बदलना संभव होगा, लेकिन यह कीमती डाउनटाइम समय लेगा।

निष्कर्ष

इसलिए हमें बिना किसी ट्रिक्स के परिचित किए गए कॉन्फ़िगरेशन को संपादित करने का एक बहुत ही सुरक्षित अवसर मिला, जैसे कि हमारे पास केवल एक सर्वर था, और परिवर्तनों को एन अन्य सर्वरों में स्थानांतरित करना।
मैं ध्यान देता हूं कि csync2 में एक होस्ट सर्वर नहीं है, इसलिए किसी भी नोड में बदलाव किए जा सकते हैं और csync2 -x चलाने के बाद परिवर्तन शेष पर फैल जाएगा।

मैं न केवल csync2 के माध्यम से कॉन्फ़िगर करता हूं, बल्कि वास्तव में प्रोजेक्ट खुद को फाइल करता है, जिनमें से कुछ उपयोगकर्ता द्वारा डाउनलोड किए जाते हैं, इसलिए मैंने बस csync2 को मुकुटों में डाल दिया (मुझे लगता है कि मैंने कितने नोड्स किए हैं? यह सच है, एक बार और एक बार! :)

लोशन:

दूसरे दिन, मैंने अधिकृत_की फ़ाइल को csync2 में रखा और अब अपनी मशीन से मैं पासवर्ड दर्ज किए बिना किसी भी नोड पर जाता हूं। यह बहुत अच्छा है जब सभी नोड्स पर पासवर्ड जटिल और भिन्न होते हैं। आप अपने कंप्यूटर पर होस्ट फ़ाइल की प्रतिलिपि भी बना सकते हैं और उनके आंतरिक नामों से नोड्स पर जा सकते हैं।
मेरा विश्वास करो, जब आप स्थापित करते हैं, कॉन्फ़िगर करते हैं और मेरी मशीनों की तरह, यहां तक ​​कि सात के एक क्लस्टर को डिबग करते हैं, तो यह आपको एक टन समय बचाएगा।

डिवाइस के बारे में थोड़ा सा

Csync2 बहुत सरलता से काम करता है। आपके द्वारा सिंक्रोनाइज़ की गई सभी फ़ाइलों की एक सूची स्थानीय साइक्लाइट डेटाबेस में संग्रहीत है और टाइमस्टैम्प के खिलाफ जाँच की गई है। सैकड़ों गीगाबाइट फ़ाइलों को वहाँ संग्रहीत नहीं किया जा सकता है, लेकिन वह मेरे 5-6 Gb को कई दसियों हज़ारों फाइलों में बहुत सफलतापूर्वक बिखेर देता है। यदि आपके पास अधिक फ़ाइलें हैं, तो लगातार मुकुटों में csync2 न डालें, यह प्रतियों का एक गुच्छा शुरू कर देगा और सर्वर धीमा होने लगेगा। Csync2 डेटाबेस को साफ किया जा सकता है और आम तौर पर इसके साथ सभी प्रकार के जोड़तोड़ किए जा सकते हैं। कार्यक्रम के लिए दस्तावेज़ीकरण (नीचे बस लिंक) भी उपयोग किए गए डेटाबेस की संरचना को इंगित करता है, इसलिए रचनात्मकता के लिए गुंजाइश महान है।

एनालॉग

ऐसे सिस्टम हैं जो नोड्स को दूरस्थ कॉन्फ़िगरेशन लोड करने की अनुमति देते हैं। मैंने उन्हें पसंद नहीं किया, लेकिन यदि आप हर दिन क्लस्टर में कारों को बदलते हैं, तो आपको उन पर एक नज़र रखना चाहिए: बावर्ची , कठपुतली ।

============================
उपयोगी लिंक:
Csync2 प्रलेखन ( पीडीएफ )
आधिकारिक csync2 वेबसाइट: http://oss.linbit.com/csync2/