एक बैकअप सर्वर का बैकअप लेना और पुनर्स्थापित करना

अभिवादन, सत्कार!
शाम हो गई थी, कुछ करना नहीं था, और फिर मुझे याद आया - मैं समुदाय के साथ अपने हाल के युद्ध के अनुभव को साझा करना चाहता था।
मेरा एक काम था - बैकअप प्रक्रिया को स्वचालित करना और ग्रेवलॉग सर्वर के लिए एक पुनर्प्राप्ति प्रक्रिया बनाना।


सर्वर मेरे लिए अज्ञात था, मैंने पहले सामना नहीं किया था।
ठीक है, बैठे और पढ़े, लेकिन सोचा - कुछ भी जटिल नहीं है। हालांकि, Google पर खोजों से पता चला है कि हर दिन ऐसा कोई कार्य दिखाई नहीं देता है, क्योंकि व्यावहारिक रूप से कोई जानकारी नहीं थी।
"हमारा कहाँ गायब नहीं हुआ?" मैंने सोचा, सब कुछ बेहद सरल होना चाहिए, कॉन्फ़िगरेशन फ़ाइलों और वॉइला की प्रतिलिपि बनाएँ।
मैं ग्रेग्लोग सर्वर और उसके घटकों का वर्णन करने के लिए एक छोटा विषयांतर करूंगा।

एक ग्रेलाग सर्वर क्या है?

Graylog2 आंकड़ों को एकत्र करने और उनका विश्लेषण करने के लिए एक ओपन-सोर्स सिस्टम है जो आपको डेटा को काफी लचीले ढंग से संसाधित करने की अनुमति देता है। एक एजेंट के रूप में - यह syslog का उपयोग करता है। डेटा नोड्स से syslog के माध्यम से भेजा जाता है और एक ग्रेलाग सर्वर द्वारा एकत्र किया जाता है।
MongoDB सामग्री और सेटिंग्स को संग्रहीत करने के लिए एक डेटाबेस के रूप में उपयोग किया जाता है।
खैर, सर्वर का सबसे बोझिल हिस्सा ElasticSearch है , जो डेटा को अनुक्रमित करने और खोजने के लिए एक शक्तिशाली उपकरण है।

बैकअप प्रक्रिया

कार्य आकार लेने लगा। यह आवश्यक था कि MongoDB और ElasticSearch इंडेक्स की सामग्री और साथ ही ग्रेग्लॉग के प्रत्येक भाग की कॉन्फ़िगरेशन फ़ाइलों को कॉपी किया जाए ।
पहले से ग्रे-सर्वर और इलास्टिक्स खोज सेवाएं बंद करने के बाद , मैंने बैकअप शुरू किया।

/etc/init.d/graylog-server stop /etc/init.d/elasticsearch stop /etc/init.d/chef-client stop 

मेरे मामले में, MongoDB में हमारे पास एक आधार था जिसे ग्रेलॉग 2 कहा जाता है। इसकी एक प्रति प्राप्त करने के लिए, मैंने निम्नलिखित कमांड के साथ एक डंप डेटाबेस बनाया:

 logger -s -i "Dumping MongoDB" mkdir -p path-to-backup mongodump -h 127.0.0.1 -d graylog2 -o path-to-backup/ 

इस प्रकार, पथ-से-बैकअप निर्देशिका में, लोकलहोस्ट पर स्थित "ग्रेलॉग 2" डेटाबेस का एक डंप बनाया जाता है (आप एक दूरस्थ नोड भी निर्दिष्ट कर सकते हैं)।

अगले चरण में ElasticSearch अनुक्रमणिका का बैकअप लेना और उसे संक्षिप्त करना है। हमारे मामले में, 7 महीने के काम के दौरान, लगभग 12 जीबी इंडेक्स एकत्र किए गए थे। डिफ़ॉल्ट रूप से, उनका संपीड़न कॉन्फ़िगर नहीं किया गया था, जो कई बार भंडारण स्थान की लागत को कम कर सकता है।
इंडेक्स को संग्रहीत करने वाली निर्देशिका, हमारे मामले में, एक माउंटेड विभाजन पर थी। /Etc/elasticsearch/elasticsearch.yml में path.data पैरामीटर इंडेक्स को संग्रहीत करने के संकेत के लिए जिम्मेदार है। इसके अलावा, एक महत्वपूर्ण पैरामीटर (यह किसी भी तरह से काम नहीं करता है), क्लस्टर नाम नाम क्लस्टर द्वारा उसी कॉन्फ़िगरेशन फ़ाइल में निर्दिष्ट क्लस्टर नाम है।
बैकअप अनुक्रमित करने के लिए, मैंने निम्नलिखित कमांड का उपयोग किया, जो सूचकांक निर्देशिका की सामग्री को संकुचित और पैक करता है:

 logger -s -i "Dumping MongoDB" tar -zcf path-to-backup/elasticsearch.tar.gz --directory=path-to-indices graylog2 

परिणामस्वरूप, 12 जीबी स्रोत जानकारी से, 1.8 जीबी का एक संग्रह प्राप्त किया गया था। खैर, पहले से ही बुरा नहीं है ...

इसके बाद, यह कॉन्फ़िगरेशन फ़ाइलों की प्रतिलिपि बनाने के लिए बनी रही ग्रेग्लोग, मोंगोबीडी और इलास्टिकसर्च। यह ध्यान देने योग्य है कि ElasticSeach कॉन्फ़िगरेशन फ़ाइल - elasticsearch.yml - में भी नोड.नाम पैरामीटर है, जो हमारे सर्वर का होस्टनाम है। यह महत्वपूर्ण है अगर ग्रेग्लोग सर्वर की बहाली एक अलग होस्टनाम के साथ नोड पर होगी। इसी तरह, ग्रेग्लॉग कॉन्फ़िगरेशन फ़ाइल की सामग्री - ग्रेलाग 2.कॉन्फ़ - हमारे विशिष्ट MongoDB डेटाबेस के लिए सेटिंग्स, जिसमें उपयोगकर्ता और पासवर्ड का उपयोग किया गया है।
मैं यह सब इस तथ्य का उल्लेख करता हूं कि कॉन्फ़िगरेशन फ़ाइलों की विचारहीन नकल से अच्छा नहीं होगा, और ये "हमारे तरीके नहीं हैं, शूरिक" (ग)

सभी कॉन्फ़िगरेशन फ़ाइलों को पैक और कॉपी करने के बाद, यह इन फ़ाइलों को बैकअप सर्वर में स्थानांतरित करने के लिए रहता है। यहां, वास्तव में, हर कोई ऐसा करने के लिए स्वतंत्र है जैसा वह चाहता है और जैसा कि बुनियादी ढांचे की आवश्यकता है।

मेरे मामले में, प्रमाणीकरण कुंजी का उपयोग करके scp का उपयोग करके प्रतिलिपि बनाई गई थी:

 logger -s -i "Copying backups to Backup server" scp -oStrictHostKeyChecking=no -oUserKnownHostsFile=/dev/null -r -i /root/.ssh/id_rsa path-to-backup backup-user@backup-server: 

logger -s -i "बैकअप सर्वर पर बैकअप कॉपी करना: संपन्न"

बैकअप प्रक्रिया को संक्षेप में बताने के लिए, मैं उन कदमों पर प्रकाश डालना चाहूंगा जिन्हें लेने की आवश्यकता है:

• स्टॉपिंग ग्रेलोग और इलास्टिकसर्च सर्विसेज
• MongoDB डेटाबेस का डंप (कॉपी) बनाना
• ElasticSearch इंडेक्स डायरेक्टरी को कॉपी और आर्काइव करना
• कॉन्फ़िगरेशन फ़ाइलों की प्रतिलिपि बनाएँ

ग्रेवल सर्वर रिकवरी प्रक्रिया

आश्चर्य नहीं कि वसूली प्रक्रिया बैकअप प्रक्रिया की दर्पण छवि है।
नीचे मैं एक छोटा सा bash स्क्रिप्ट दूंगा जो कि ग्रेलॉग सर्वर को पुनर्स्थापित करता है:

 /etc/init.d/graylog-server stop /etc/init.d/elasticsearch stop scp -r user@backup-server/graylog-backup/* ./ tar zxf graylog2-mongodump.tar.gz tar zxf elasticsearch.tar.gz mongorestore -d graylog2 ./graylog2 mv ./elasticsearch/* /opt/elasticsearch/data/ mv ./graylog2.conf /etc/ mv ./elasticsearch.yaml /etc/elasticsearch/elasticsearch.yml /etc/init.d/graylog-server start /etc/init.d/elasticsearch start 

स्क्रिप्ट बैकअप-सर्वर से अभिलेखागार को कॉपी करती है, उन्हें अनपैक करती है , फिर MongoDB में gyloglog2 डेटाबेस को पुनर्स्थापित करती है और ElasticSearch इंडेक्स को डिफ़ॉल्ट निर्देशिका में स्थानांतरित कर दिया जाता है। ElasticSearch और Graylog सर्वर कॉन्फ़िगरेशन फ़ाइलों को भी कॉपी किया जाता है। उसके बाद, इलास्टिक खोज सेवा और ग्रेलाग-सर्वर लॉन्च किए जाते हैं।

पुनर्प्राप्ति की अखंडता को सत्यापित करने के लिए, आप निम्न कार्य कर सकते हैं:

• सर्वर के वेब-इंटरफ़ेस पर जाएं और सुनिश्चित करें कि सभी संदेश, होस्ट, स्ट्रीम और पैरामीटर समान स्थिति में मौजूद हैं
• कर्ल अनुरोध कर्ल -XGET के परिणाम की तुलना करें " लोकलहोस्ट : 9200 / ग्रेवलॉग 2_0 / _मैपिंग

प्रक्रिया सरल है, कई उदाहरणों पर सिद्ध होती है। हालांकि, थोड़ा प्रलेखित। यह भी ध्यान देने योग्य है कि ElasticSearch v.1 की रिहाई के साथ - यह सूचकांकों के "कास्ट" प्राप्त करने के लिए प्रक्रिया की शुरूआत से सरल है, लेकिन इससे सार नहीं बदलता है।
मुझे उम्मीद है कि यह लेख किसी की मदद करता है। आपका ध्यान देने के लिए धन्यवाद।

पीएस विशेष मेरे सहयोगी Siah के लिए धन्यवाद, जिन्होंने इस स्क्रिप्ट को स्वचालन के लिए सुंदर और उत्तरदायी बनाया। खैर, मैं एक आलसी विषय स्टार्टर हूँ :)