Logreplica: वास्तविक समय में एक ही बिंदु में पूरे क्लस्टर से लॉग एकत्र करना

मैं उपयोगी उपयोगिताओं को साझा करना जारी रखता हूं जो मैं विभिन्न परियोजनाओं में उपयोग करता हूं। इस बार हम लॉगरेप्लिका के बारे में बात करेंगे - एक सरल उपकरण जो आपको विभिन्न क्लस्टर सर्वर से लॉग के विश्वसनीय हस्तांतरण को बड़ी "वास्तविक समय" ड्राइव के साथ एक मशीन पर व्यवस्थित करने की अनुमति देता है। यह बहुत सुविधाजनक है यदि आप संपूर्ण क्लस्टर से लॉग की केंद्रीय निगरानी या विश्लेषण करना चाहते हैं जैसे कि वे सीधे एक मशीन पर लिखे गए हों।

हम यह कह सकते हैं कि लॉग्रेप्लिका की कल्पना एक अधिक सुविधाजनक और विश्वसनीय तरीके के रूप में की गई थी जो कि केंद्रीय स्थान में लॉग को इकट्ठा करने के तरीके की तुलना में सिसलॉग / सिसलॉग-एनजी सेटिंग्स का उपयोग कर सकता था।

Logreplica का लाभ इसकी कॉन्फ़िगरेशन में आसानी है: आप केवल लॉग फ़ाइलों के नाम के "मास्क" को कॉन्फ़िगर करते हैं और स्रोत मशीनों के पते निर्दिष्ट करते हैं, और भविष्य में मास्क के अनुरूप लॉग स्वचालित रूप से होते हैं और केंद्रीय मशीन में जोड़े गए मक्खी पर (यदि मशीनों पर शामिल हैं) -सूत्र नई लॉग फ़ाइलें दिखाई देते हैं, अज्ञात समय लॉग्रेप्लिका शुरू होने पर)। नई मशीन जोड़ते समय, आपको उस पर कुछ भी कॉन्फ़िगर करने की आवश्यकता नहीं है: बस इसका नाम कॉन्‍फ़िगर फ़ाइल में शामिल करें।

कॉन्फ़िगर उदाहरण /etc/dklab_logreplica.conf

 # लॉग करने के लिए वर्तमान मशीन में क्या निर्देशिका है।
 गंतव्य = / var / लॉग / क्लस्टर

 # गंतव्य निर्देशिका में संग्रहीत करते समय इन लॉग फ़ाइलों को उपसर्ग छोड़ दें।
 Skip_destination_prefixes = / var / log: / var / lib / pgsql / data / log

 # आंतरिक स्थिति निर्देशिका में पथ (परिवर्तित नहीं हो सकता है)।
 स्कोरबोर्ड = /var/run/dklab_logreplica.scoreboard

 # लॉग ग्रोथ चेक करने से पहले सोने का समय अंतराल।
 देरी = 0.25

 # दूरस्थ होस्ट से कनेक्ट करने के लिए डिफ़ॉल्ट उपयोगकर्ता।
 उपयोगकर्ता = जड़

 # लॉग इन मशीनों की सभी मशीनों पर निगरानी के लिए कौन सी फाइलें।
 [फ़ाइलें]
 / var / log / {संदेश, maillog}
 / var / log / httpd / * _ लॉग

 # क्या लॉग से इकट्ठा करने के लिए कनेक्ट करने के लिए होस्ट करता है।
 [मेजबान]
 पहला = machine1.example.com
 second=nobody@machine2.example.com

लॉग्रेप्लिका कैसे स्थापित करें और कॉन्फ़िगर करें

स्रोत मशीनों पर, आपको कुछ भी कॉन्फ़िगर करने की आवश्यकता नहीं है: वे केंद्रीय कॉन्फ़िगरेशन फ़ाइल में पंजीकृत होने के बाद तुरंत चालू हो जाते हैं। तो, दर्जनों सर्वरों को बिना कॉन्फ़िगर किए लॉगजीपिका से स्वतंत्र रूप से जोड़ा जा सकता है: सभी सेटिंग्स एक ही फ़ाइल /etc/dklab_logreplica.conf में स्थित हैं।

1. उस सर्वर का चयन करें जिस पर सभी लॉग जोड़े जाएंगे; logreplica वितरण को / ऑप्ट / dklab_logreplica / पर कॉपी करें ।
2. Dklab_logreplica.in इन्ट्री स्क्रिप्ट को /etc/init.d पर कॉपी करें और मशीन बूट होने पर ऑटोस्टार्ट से कॉन्फ़िगर करें ( chkconfig , update-rc.d और अन्य लिनक्स उपयोगिताओं को देखें)।
3. डिफ़ॉल्ट कॉन्फिगरेशन dklab_logreplica.conf.sample को /etc/dklab_logreplica.conf पर कॉपी करें और इसे अपने सिस्टम के अनुसार बदलें:
   • उन मशीनों को निर्दिष्ट करें जिनसे लॉग एकत्र किए जाएंगे;
   • मॉनिटर की जाने वाली लॉग फ़ाइलों के नाम के लिए मास्क निर्दिष्ट करें;
   • उस निर्देशिका को निर्दिष्ट करें जहां लॉग वास्तविक समय में कॉपी किए जाएंगे।
4. Ssh-keygen -t rsa का उपयोग करके एक निजी + सार्वजनिक कुंजी बनाएँ। सार्वजनिक कुंजी को उन मशीनों में डालें जहां से लॉग डाउनलोड किए जाएंगे: ssh-copy-id root @ machine-to-be-be । नतीजतन, आपको लॉग सर्वर से सभी स्रोत मशीनों तक पासवर्ड रहित पहुंच प्राप्त करनी चाहिए, अन्यथा लॉग्रेप्लिका काम करने में सक्षम नहीं होगा।
   
5. अब /etc/init.d/dklab_logreplica start चलाएं - और logreplica स्रोत मशीनों पर लॉग फ़ाइलों में परिवर्तन ट्रैक करने और गंतव्य निर्देशिका में डेटा संग्रहीत करने के लिए शुरू करेंगे।

Logreplica डेमॉन स्रोत मशीनों को फिर से कनेक्ट कर सकता है अगर यह नेटवर्क की समस्याओं के कारण अचानक गायब हो जाता है। यह डाउनटाइम के दौरान लॉग में जमा हुए सभी डेटा को स्थानांतरित कर देगा, ताकि कुछ भी खो न जाए। Logreplica स्रोत मशीनों पर लॉग रोटेशन की निगरानी भी करता है और इसे सही ढंग से संसाधित करता है।

Logreplica द्वारा हल की गई समस्याएं

मान लीजिए कि एक क्लस्टर में कई भौतिक या आभासी मशीनें हैं जो विभिन्न कार्य करती हैं (उदाहरण के लिए, SQL- सर्वर, वेब-फ्रंटेंड, बैलेंसर, मेल सर्वर, आदि)। कभी-कभी आप इन सभी मशीनों से एक ही स्थान पर लॉग इन करना चाहते हैं - उदाहरण के लिए, विभिन्न आँकड़ों को पढ़ने के लिए या पूरी तरह से आसानी से (यहां तक ​​कि टेल -फ का उपयोग करके भी) पूरे सिस्टम में क्या हो रहा है इसकी निगरानी के लिए।

बेशक, आप केंद्रीय लॉग सर्वर पर नेटवर्क के सभी लॉग भेजने के लिए syslog या syslog-ng को कॉन्फ़िगर कर सकते हैं, हालांकि, यदि आप ऐसा करते हैं, तो आप कई असुविधाओं का सामना करेंगे:

1. मशीनों के बीच संचार में अस्थायी रुकावट की स्थिति में (ऐसा होता है, दुर्भाग्य से, अधिक बार हम जितना चाहेंगे), लॉग के टुकड़े खो सकते हैं, इसलिए आप कभी-कभी डेटा खो देंगे।
2. क्लस्टर में मामलों की वास्तविक स्थिति के साथ सिंक्रनाइज़ किए गए syslog या syslog-ng कॉन्फ़िगरेशन को बनाए रखने के लिए अभ्यास में यह काफी मुश्किल है: नई मशीनों को जोड़ा जा सकता है, लॉग फ़ाइलों का सेट बदल सकता है, आदि।
3. सभी सेवाएं लॉग्स के हस्तांतरण को समर्थन नहीं देतीं (उदाहरण के लिए, अपाचे और नेग्नेक्स देरी को कम करने के लिए सीधे फाइलों पर लिखते हैं)। इसलिए आपको डेटा को syslog में स्थानांतरित करने के लिए नामित पाइप का उपयोग करना होगा, जिसका अर्थ है कि कॉन्फ़िगर और निर्भरता बढ़ेगी और बढ़ेगी।
4. अक्सर आप लॉग फाइल के नाम को निर्दिष्ट करने वाले हार्ड-कोडित के बजाय, नकाब से केंद्रीय मशीन में लॉग फाइल को दोहराना चाहते हैं। Syslog और syslog-ng ऐसा नहीं कर सकते।
5. अंत में, व्यवहार में यह बहुत सुविधाजनक हो जाता है कि न केवल केंद्रीय मशीन पर लॉग को स्टोर करने के लिए, बल्कि मशीन पर भी जहां वे बनाए जाते हैं (एक संकीर्ण "रोटेशन विंडो" को स्रोत मशीन पर कॉन्फ़िगर किया जा सकता है)। तो आपके syslog और syslog- एनजी कॉन्फ़िगरेशन फिर से बढ़ रहे हैं ...

इन सभी समस्याओं को हल करने के लिए लॉग्रेप्लिका उपयोगिता बनाई गई थी। सामान्य तौर पर, लॉग केवल "जादुई रूप से" और वास्तविक समय में केंद्रीय मशीन पर दिखाई देते हैं, बिना सेवाओं और रिमोट मशीनों की सेटिंग्स में कोई बदलाव किए।

लिंक्स: लॉग्रेप्लिका डेक्लाब पर । गेथहब पर लॉग्रेप्लिका । टिप्पणियों में लिखें यदि आप एनालॉग्स जानते हैं या वर्णित समस्या के लिए एक अलग दृष्टि है।