Taming Graylog2 - एक विज़ुअलाइज़्ड और कार्यात्मक लॉग फ़ाइल सर्वर

हजारों सेवाओं, डेमॉन और उन पर चलने वाली स्क्रिप्ट के साथ पर्याप्त रूप से बड़े बेड़े के सर्वर के अंदर कई त्रुटियों का ट्रैक रखना काफी मुश्किल है। कहीं स्मृति से बाहर, कहीं एक डेमॉन अटक, कहीं डेटाबेस अनुचित व्यवहार करता है। केंद्रीकृत लॉग स्टोरेज सर्वर पर एक से अधिक बार चर्चा की गई है, मैं आपको एक और सुविधाजनक और शक्तिशाली टूल के बारे में बताना चाहता हूं - ग्रेलाग 2 ।


तुरंत मैं अंग्रेजी शब्दों की प्रचुरता के लिए माफी मांगता हूं, मुझे नहीं पता कि उनका अनुवाद कैसे करना है और उनका अर्थ नहीं खोना है।

यह क्या है

ग्रेलाग 2 केंद्रीकृत संग्रह, भंडारण और जानकारी के विश्लेषण के लिए एक नि: शुल्क खुला स्रोत प्रणाली है जो कि सिसलॉग में लिखी गई है, ग्रेवलॉग 2 DevOps अवधारणा के अनुसार बनाया गया है।



Graylog2 में तीन घटक होते हैं:
- धूसर 2-वेबई - रेल पर वेब-इंटरफ़ेस,
- gloglog2- सर्वर - जावा टीसीपी / यूडीपी लॉग कलेक्टर,
- पूरे सिस्टम के वास्तविक लॉग और सेटिंग्स को स्टोर करने के लिए मोंगॉडब।

हर जगह से लॉग प्राप्त करने के लिए, नियमित syslog की तरह, TCPlog / UDP प्रोटोकॉल का उपयोग करने की अनुमति देता है, mongodb भंडारण प्रदान करता है, रेल सब कुछ खूबसूरती से खींचता है।

पेशेवरों और विशिष्ट सुविधाओं।

Syslog-server के सामान्य कार्यों के अलावा, मैं निम्नलिखित दिलचस्प बातों पर भी ध्यान देना चाहूंगा:
1. धाराओं में संदेशों का एकत्रीकरण। कीवर्ड द्वारा, हम कई होस्ट्स से लॉग स्ट्रीम को जोड़ते हैं, आप स्ट्रीम पर अलर्ट डाल सकते हैं और इन अलर्ट्स को मेल द्वारा किसी को भी दे सकते हैं।



2. मेजबान समूहों में एकत्रीकरण। आप विभिन्न होस्ट से स्ट्रीम को एक समूह में जोड़ सकते हैं।

3. regexp द्वारा पूरे सरणी से नमूने, समय से, महत्व से, सुविधा द्वारा। आप कभी भी, कुछ भी पा सकते हैं।



4. लॉग के लिए ब्लैकलिस्ट। Regexp द्वारा, आप लॉग फ़िल्टर कर सकते हैं। जो कुछ भी हम निषिद्ध करते हैं वह डेटाबेस में नहीं आएगा।
5. लॉग का ऑटोरोटेशन। पुराने रिकॉर्ड्स को साफ करने के लिए चिंता करने की जरूरत नहीं है, मोंगोडब खुद ही कैप्ड कलेक्शन मैकेनिज्म का इस्तेमाल कर काम करेगा।
6. जीईएलएफ का उपयोग करने की क्षमता - ग्रेग्लोग विस्तारित लॉग प्रारूप, इस प्रकार 1024 बाइट्स में सीसालॉग संदेशों की मानक लंबाई का विस्तार। जीईएलएफ का उपयोग करके, आप न केवल सिस्टम संदेशों, बल्कि कोड के तर्क की निगरानी कर सकते हैं, सीधे आवेदन से विस्तृत संदेश भेज सकते हैं।
7. परियोजना मुफ्त (GPLv3) है, सक्रिय रूप से विकसित हो रही है।

प्रदर्शन।

गुच्छा पूरी तरह से और बहुत चालाकी से काम करता है। मैंने खुद देखा कि कैसे प्रणाली प्रति सेकंड 17,000 संदेशों तक संसाधित होती है। उसी समय, मोंगोडब स्केलिंग तंत्र शामिल नहीं थे, हमारे सभी घटक एक छोटी आभासी मशीन पर स्पिन करते हैं।

विपक्ष

दुर्भाग्य से, इसके नुकसान भी हैं।
1. मोन्गोडब सबसे महत्वपूर्ण माइनस है, मुझे प्रशंसकों को क्षमा करें। शायद हम यह नहीं जानते कि इसे कैसे पकाना है, हो सकता है कि भार बहुत बड़ा हो। ऐसा होता है कि यह गिरता है, ऐसा होता है कि यह सभी मेमोरी को खा जाता है। संस्करण फिट> 2.0, अन्यथा नियमित चयन काम नहीं करेगा।
2. जावा भी काफी संसाधन गहन है।
3. नियमित चयन, समय चयन, और पृष्ठ मोड़ हमेशा सही ढंग से काम नहीं करते हैं। देखने के लिए पैटर्न काफी कठिन है, कभी-कभी यह काम करता है, कभी-कभी नहीं। वेबुई को पूरा करने की आवश्यकता है।
4. ऑटोरोटेशन एक अच्छी बात है, लेकिन पुराने संदेश कहीं भी सहेजे नहीं जाएंगे और मर जाएंगे।

मैंने ग्रेग्लोग 2 पर महत्वपूर्ण डेटा को टाई करना शुरू नहीं किया। यह सब कच्चा है। इसलिए, पड़ोसी बंदरगाह पर, लॉग भी अच्छे पुराने syslog- एनजी द्वारा प्राप्त किए जाते हैं और ऐसे डेटा को डिस्क में जोड़ते हैं। लेकिन लॉग के सामान्य प्रवाह की निगरानी और विश्लेषण के लिए - उपकरण काफी समझदार है।
स्थापना तुच्छ है, बायनेरिज़ डाउनलोड करें, रेल के लिए वातावरण तैयार करें, अंतिम मोंगू डालें और 10 मिनट के बाद सब कुछ काम करता है। हमने इनिट स्क्रिप्ट अभी तक नहीं लिखी है, लेकिन हम ऐसा करना सुनिश्चित करेंगे।

संदर्भ:
- प्रोजेक्ट पेज
- जीईएलएफ , एएमक्यूपी
- DevOps
- मंगोल

युपीडी:
खैर, जब वह लेख लिख रहा था, तो डेवलपर ने घोषणा की कि अगले संस्करण 0.9.6 में क्या होगा, बीटा के रिलीज होने से पहले जिसमें कुछ ही दिन थे।

- मोंगोडब एक गलती थी, परियोजना जानकारी के भंडार के रूप में इलास्टिकसर्च में बदल जाती है। यह क्या है, स्पष्ट रूप से, मुझे अभी तक पता नहीं है)) वादा सिर्फ उत्पादकता में भारी वृद्धि है,
- एनालिटिक्स में तर्क में बदलाव, तेजी से चार्टिंग, इस वजह से अधिक प्रदर्शन,
- डिज़ाइन किए गए एनालिटिक्स कंसोल,
- फ़िल्टरिंग, फ़ाइल नाम, स्ट्रिंग, आदि के लिए नए नियम।
- मेजबान समूहों को हटा दिया गया था, यह देखते हुए कि यह कार्यक्षमता बेमानी है और पहले से ही धाराओं में मौजूद है,
- बग फिक्सिंग, सुधार।

सामान्य तौर पर, लेखक और भी अधिक उत्पादकता, अधिक स्थिरता, अधिक सुविधा का वादा करता है, जो उदाहरण के लिए, मुझे अविश्वसनीय रूप से खुश करता है। सच कहूं, तो लेख लिखने के बाद ही मुझे आखिरकार एहसास हुआ कि इस उपकरण का दायरा बहुत व्यापक है।