अजगर और मुनिन के साथ विस्तृत अपाचे क्वेरी मॉनिटरिंग

टॉमटॉम में मेरी हालिया इंटर्नशिप के दौरान कार्यों में से एक कंपनी के वेब सर्वर के निगरानी उपकरणों में सुधार करना था। विशेष रूप से, कई मुनिन प्लगइन्स लिखना आवश्यक था जो अपाचे एक्सेस लॉग से हमारे एपीआई के अनुरोधों के विस्तृत आंकड़े प्रदर्शित करेंगे। यह कार्य शुरू में आदिम लग सकता है - यह सब आवश्यक है लॉग फ़ाइल को पार्स करने के लिए और परिणाम को एक प्रारूप में प्रदर्शित करना है जिसे मुनिन समझता है। हालांकि, लचीले कॉन्फ़िगरेशन विकल्पों के साथ वास्तव में विश्वसनीय और सुविधाजनक उपयोगिता बनाने के लिए, मुझे बहुत परेशान करना पड़ा। इस काम को व्यर्थ होने से रोकने के लिए, मैंने जिफब पर एक कोड पोस्ट किया जिसे एल्फस्टैट्स कहा जाता है। इस लेख में, मैं बात करूंगा कि यह उपयोगिता किन कार्यों को हल कर सकती है ताकि इच्छुक नेटवर्क इंजीनियर अपने वातावरण में इसका उपयोग कर सकें।

संक्षेप में, इससे पहले कि आप एल्फस्टैट्स के साथ काम करना शुरू करें, आपको नियमित अभिव्यक्ति का उपयोग करके वेब सर्वर द्वारा संसाधित अनुरोधों का वर्णन करना होगा। उसके बाद, प्रोग्राम नियमित रूप से एक्सेस लॉग्स को पार्स करेगा और रिपोर्ट की गई फ़ाइलों की संख्या और प्रत्येक वर्णित टेम्पलेट के लिए प्रतिक्रिया समय के वितरण सहित रिपोर्ट फ़ाइल उत्पन्न करेगा। इसके अलावा, इस रिपोर्ट को मुनिन का उपयोग करके संसाधित किया जाएगा और इसी ग्राफ के रूप में प्रदर्शित किया जाएगा। इस प्रकार, एल्फस्टैट्स को स्थापित और कॉन्फ़िगर करके, आप वेब सर्वर स्तर पर अपने अनुप्रयोगों और उपयोगकर्ता के व्यवहार के संचालन में परिवर्तन को आसानी से ट्रैक कर सकते हैं।

अब वेब सर्वर की निगरानी के लिए विभिन्न उपकरणों की एक बड़ी संख्या है। हालांकि, उनमें से सबसे लोकप्रिय का विश्लेषण करने के बाद, मुझे उपयोगिताओं का पता नहीं चला, जो वास्तविक समय में (लगभग) अनुरोधों पर विस्तृत डेटा को ट्रैक करने की अनुमति देगा, सभी सूचनाओं को एक स्थान पर प्रदर्शित करेगा और आसानी से कंपनी में पहले से मौजूद निगरानी बुनियादी ढांचे में एकीकृत हो जाएगा। इससे पहले कि मैं अपने समाधान पर काम करना शुरू करूं, हमने एपीआई अनुरोधों का विश्लेषण करने के लिए दो भागों - डेटा एग्रीगेटर और मुनिन प्लगइन्स से पुरानी और अनिवार्य रूप से असमर्थित लिपियों का उपयोग किया। उनके साथ कई गंभीर समस्याएं थीं: स्रोत कोड, अपर्याप्त कार्यक्षमता और प्रतिबंध के बग को बदलने के बिना अधिक या कम लचीले कॉन्फ़िगरेशन की असंभवता। मुझे लगता है कि हम एकमात्र स्थान नहीं थे जहाँ लॉग से सूचना को पार्स करने और प्रदर्शित करने का कार्य घुटने पर लिखी गई लिपियों द्वारा हल किया गया था।


एक एकल अभिव्यक्ति द्वारा वर्णित एपीआई समूह के लिए अनुरोधों की संख्या प्रदर्शित करें

मैंने नए समाधान के आधार के रूप में दो-घटक दृष्टिकोण भी लिया। लॉग से आंकड़े एकत्र करने के लिए, एक डेमन लिखा गया था जो नियमित अंतराल पर चलता है और पिछले लॉन्च के बाद से उत्पन्न डेटा का विश्लेषण करता है। एकत्र की गई जानकारी एक रिपोर्ट फ़ाइल में लिखी जाती है, जिसे तब मुनिन प्लग-इन या अन्य वास्तविक समय दृश्य निगरानी उपकरणों द्वारा उपयोग किया जा सकता है। चूंकि सभी डेटा प्रोसेसिंग कार्यों को डेमॉन को सौंपा गया है, प्लगइन्स बहुत सरल हैं और बहुत तेज़ी से काम करते हैं, जो हमारे केंद्रीय सर्वर मुनिन के लिए बहुत महत्वपूर्ण है, जो धीरे-धीरे और दुख के साथ कई दसियों नोड्स से आंकड़े एकत्र करता है। इसके अलावा, चूंकि प्लगइन्स व्यावहारिक रूप से कोई तर्क नहीं रखते हैं, केवल एक छोटी रिपोर्ट फ़ाइल को पार्स करने और मुनिन-नोड को मान वापस करने के अलावा, उन्हें आसानी से अन्य निगरानी उपयोगिताओं के लिए फिर से लिखा जा सकता है। आपको दानव को स्पर्श नहीं करना होगा।

कार्यक्रम का वर्तमान संस्करण निम्नलिखित कार्यक्षमता का समर्थन करता है।

• अपाचे लॉग प्रारूप को पार्स करना। भले ही आपने सर्वर को कैसे कॉन्फ़िगर किया हो, डेमॉन सही ढंग से उत्पन्न लॉग के प्रारूप को पार्स करेगा। ऐसा करने के लिए, बस एपाचे कॉन्फ़िगरेशन लाइन को डेमॉन सेटिंग फाइल में कॉपी करें।
• एक प्रक्रिया से एक मशीन पर कई अलग लॉग फ़ाइलों के साथ काम करें।
• विभिन्न घुमाव विकल्पों के लिए समर्थन के साथ पिछली फ़ाइल को पढ़ना और पार्स करना (जगह में घुमाव या नाम में एक अस्थायी टेम्पलेट के साथ एक नई फ़ाइल बनाना)।
• नियमित अभिव्यक्तियों का उपयोग करके पार्स और अनदेखे प्रश्नों का लचीला अनुकूलन।
• लक्ष्य मशीन पर समय के सापेक्ष स्थानांतरित प्रविष्टियों के साथ लॉग फ़ाइलों के लिए समर्थन।
• सिस्टम कॉन्फ़िगरेशन और नियंत्रण को सरल बनाने के लिए समूहों में समान अनुरोध समूह।

एपीआई कॉल में से एक के लिए प्रतिक्रिया समय वितरण

एल्फस्टेट्स का उपयोग करके आप निम्न डेटा की निगरानी कर सकते हैं।

• लॉग में अनुरोधों की कुल संख्या।
• प्रत्येक वर्णित समूह के लिए अनुरोधों की संख्या (और अलग-अलग धीमे अनुरोधों की संख्या)।
• प्रत्येक समूह के लिए प्रतिक्रिया समय का वितरण - न्यूनतम, अधिकतम, औसत, मनमाना प्रतिशत।
• वापसी कोड का वितरण - सर्वर के लिए और अनुरोधों के प्रत्येक समूह के लिए सामान्य रूप से।
• दिए गए पैटर्न के लिए (अलग-अलग) मैचों की संख्या।
• डेमॉन की निगरानी और कॉन्फ़िगरेशन को डीबग करने के लिए पार्स, गुम और गलत प्रविष्टियों की संख्या।

इस डेटा को प्रदर्शित करने के लिए , मुनिन के लिए छह अलग-अलग प्लगइन्स का उपयोग किया जाता है , जिन्हें PyMunin ढांचे के आधार पर लिखा गया है। प्लगइन्स को डेमॉन से अलग से वितरित किया जाता है, वे एक-दूसरे से स्वतंत्र होते हैं और आवश्यकतानुसार चालू और बंद किए जा सकते हैं।


रिटर्न कोड मॉनिटरिंग

डेमन और प्लगइन कोड पायथन 2.6 में लिखा गया है, भविष्य में संस्करण 3.x के लिए समर्थन संभव है। बाइनरी असेंबली लिनक्स रेडहैट 6 पर संकलित आरपीएम पैकेज के रूप में उपलब्ध है। अन्य ऑपरेटिंग सिस्टम के साथ काम करने के लिए, आपको स्रोत कोड से डेमॉन और प्लग-इन इकट्ठा करने की आवश्यकता है। आरएचईएल 6 के साथ मशीनों पर एल्फस्टैट्स की स्थापना को सरल बनाने के लिए, आरपीएम को अजगर के लिए पहले से स्थापित आभासी वातावरण के साथ समर्थन किया जाता है, जिसमें सभी आवश्यक निर्भरताएं शामिल हैं। डेमन के लिए स्रोत कोड MIT लाइसेंस के तहत खुला है, प्लगइन्स GPLv3 के तहत वितरित किए जाते हैं, जैसा कि PyMinin फ्रेमवर्क द्वारा आवश्यक है। कठपुतली मैनिफेस्ट का उपयोग सर्वर पर प्रारंभिक तैनाती और उन्नयन के लिए किया जाता है। वे सभी सर्वरों के लिए आवश्यक कार्यों के लिए कॉन्फ़िगरेशन फ़ाइलों को संशोधित करते हैं। रिपॉजिटरी में अभी तक कोई घोषणा पत्र नहीं हैं, उन्हें थोड़ी देर बाद जोड़ा जाएगा।

यह मुझे लगता है कि मैंने जो कार्यक्रम लिखा था वह काफी कार्यात्मक और लचीला था। कई महीनों के लिए, इसका उपयोग काफी बड़ी संख्या में सर्वरों की निगरानी के लिए किया जाता है और यह त्रुटिपूर्ण रूप से काम करता है। मुझे खुशी होगी अगर आप अपने सर्वर को नियंत्रित करने के लिए एल्फस्टैट्स का उपयोग करना चाहते हैं और टिप्पणियों और ट्रैकर में इस उपयोगिता के संचालन के बारे में खुशी से सवालों के जवाब देंगे।