Zabbix में RabbitMQ की निगरानी और Zabbix कुंजी की छिपी विशेषताएं

प्रविष्टि

RabbitMQ क्लस्टर में बड़ी संख्या में मैट्रिक्स की निगरानी के कार्य के साथ, JSON डेटा के लिए एक सार्वभौमिक पार्सर बनाने की इच्छा थी। कार्य इस तथ्य से जटिल था कि क्लस्टर ऑपरेशन के दौरान मैट्रिक्स गतिशील रूप से दिखाई देते हैं और गायब हो जाते हैं, प्लस डेवलपर्स लगातार कुछ नया संग्रह / गणना करना चाहते हैं। दुर्भाग्य से, ज़ैबिक्स में बॉक्स से इस रूप में डेटा एकत्र करने का कोई तरीका नहीं है। लेकिन zabbix_trapper के रूप में एक ऐसी सुविधाजनक सुविधा है, जो आपको लचीला अनुकूलन करने की अनुमति देती है। यह आलेख zabbix_trapper वस्तुओं के उपयोग के गैर-मानक तरीके पर चर्चा करेगा। मैं हर बार नहीं चाहता कि जब भी डेवलपर मुझसे नए मेट्रिक्स जोड़े, उस स्क्रिप्ट को बदलें जो डेटा एकत्र करती है और इसे zabbix पर भेजती है। यहाँ से ज़ैबिक्स की कुंजी का उपयोग करने का विचार खुद ही एक नए मीट्रिक को इकट्ठा करने के निर्देश के रूप में आया। लब्बोलुआब यह है, हम एक पूर्वनिर्धारित वाक्यविन्यास के साथ एक कमांड के रूप में ज़ैबिक्स कुंजी का उपयोग करते हैं। यही है, इस मामले में zabbix कुंजी zabbix_agent प्रकार की कुंजी के समान एक निर्देश के रूप में काम करेगी।

आधिकारिक ज़ैबिक्स दस्तावेज़ के अनुसार, आइटम कुंजी में वैध वर्णों पर कुछ प्रतिबंध हैं। ज़ैबिक्स ट्रॉपर जैसी कुंजी बनाने के साथ थोड़ा खेला, मैंने पाया कि उदाहरण के लिए फॉर्म की एक कुंजी:

some.thing.here [एक: दो: तीन] [foo = x, बार = y]

त्रुटियों के बिना zabbix में बनाए जाते हैं। यही है, प्रतिबंध केवल इस तथ्य पर काम करते हैं कि [] कोष्ठक के बाहर, कम से कम एक [az] [AZ] वर्ण कोष्ठक के सामने भी होना चाहिए। इस तरह की चाबियां बनाने की क्षमता होने के बाद, हम अपने स्वयं के प्रमुख वाक्यविन्यास के साथ आ सकते हैं और इसमें काफी लचीला तर्क दे सकते हैं। इसके अलावा, यह केवल खोज किए गए सिंटैक्स के लिए एक हैंडलर लिखने के लिए बना हुआ है जो सभी मुख्य काम करेगा। और अंत में, इस हैंडलर पर एक गोदी लिखकर और कोड को जनता के सामने रखने से, पूरे ज़ैबिक्स समुदाय के पास "जैसे" प्लग-इन का आदान-प्रदान करने का अवसर होगा।

सामान्य तौर पर, लेख को समझना थोड़ा मुश्किल हो जाता है, इसलिए अवधारणा को बेहतर ढंग से समझने के लिए, मैं आपको सलाह दूंगा कि आप पहले खुद को RabbitMQ API से परिचित कराएं, कम से कम सिर्फ यह देखें कि डेटा कैसा दिखता है और एपीआई क्या प्रदान करता है (देखें साइट देखें)।

लेख के अंत में कोड के लिंक दिए गए हैं।

यह कैसे काम करता है

सबसे पहले, हम विकसित किए गए वाक्यविन्यास के अनुसार zabbix_trapper प्रकार के ज़ैबिक्स फ्रंट-एंड आइटम बनाते हैं (वाक्यविन्यास नीचे वर्णित किया जाएगा)। इसके बाद, सूचना संग्रह की आवृत्ति के साथ ताज में हैंडलर (rmq_data_collect.pl - बाद में कलेक्टर) चलाएं, 1 मिनट का कहना है। अब कलेक्टर Zabbix सर्वर के साथ और RabbitMQ सर्वर के साथ आरेख में संकेत के साथ बातचीत करता है:

यानी स्क्रिप्ट 3 मुख्य कदम उठाती है:

1) Zabbix सर्वर से एकत्र की जाने वाली वस्तुओं की सूची का अनुरोध करता है।
2) यह ऊपर दिए गए मदों की सूची के अनुसार RabbitMQ से सभी आवश्यक डेटा लेता है।
3) सभी एकत्रित डेटा को Zabbix सर्वर / प्रॉक्सी से संबंधित वस्तुओं पर भेजता है।

पहले संचार में, हैंडलर Zabbix API के माध्यम से और सीधे डेटाबेस के साथ बातचीत कर सकता है। मेरे कार्यान्वयन में, Zabbix प्रॉक्सी बेस के साथ इंटरैक्शन होता है। यह दृष्टिकोण अधिक सुविधाजनक है जब कई ज़ैबिक्स प्रॉक्सी के साथ वितरित निगरानी का उपयोग किया जाता है। इस स्थिति में, स्क्रिप्ट को zabbix प्रॉक्सी सर्वर पर स्थापित किया जाना चाहिए, और उसी प्रॉक्सी के डेटाबेस से कनेक्ट करने के लिए डेटा को स्क्रिप्ट कॉन्फ़िगरेशन में पंजीकृत होना चाहिए।

हैंडलर के अलावा, हम एक और डिसकवर पर भी विचार करेंगे, जिसका उपयोग निम्न स्तर की खोज के लिए किया जाता है। अगला, हम RabbitMQ, सिद्धांत और कॉन्फ़िगरेशन उदाहरणों के लिए वर्तमान निगरानी कार्यान्वयन के बारे में बात करेंगे।

क्या लागू किया है

RabbitMQ एपीआई पर प्रलेखन 9 एपीआई यूआरएल + का वर्णन करता है, इसमें फेडरेशन-लिंक भी है, जिसे विद्रोही के लिए एक अलग प्लगइन के रूप में रखा गया है। शायद कुछ और है। मेरी स्क्रिप्ट के वर्तमान कार्यान्वयन में, निम्नलिखित एपीआई रास्तों पर नजर रखी जा सकती है:

-nodes
-connections
-queues
-bindings
-federation-लिंक

यह मेरे कार्यों के लिए पर्याप्त था, अगर आपको कुछ और एपीआई पथों की आवश्यकता है, तो आपको उन्हें map_rmq_elements (कोड पर टिप्पणियां देखें) में जोड़ने की आवश्यकता है।

स्क्रिप्ट स्थापित और कॉन्फ़िगर करें

RabbitMQ की निगरानी करने के लिए, आपको 2 स्क्रिप्ट (कलेक्टर और खोजकर्ता) + ZabbixProxyDB.pm पर स्थापित और कॉन्फ़िगर करना होगा। लिपियों को एक Zabbix सर्वर पर और एक प्रॉक्सी पर, आपके Zabbix कॉन्फ़िगरेशन के आधार पर स्थापित किया जा सकता है।

संग्राहक

rmq_data_collect.pl - zabbiks कुंजियों को संसाधित करने और rabbitmq से डेटा एकत्र करने के लिए उपयोग किया जाता है।

के उपयोग

इसका एक इनपुट पैरामीटर है

$ 1 - Zabbix में RabbitMQ होस्ट का पूरा नाम, अगर RabbitMQ क्लस्टर के रूप में नहीं चल रहा है। यदि रिबबिट क्लस्टर के रूप में काम करता है, तो $ 1 क्लस्टर में होस्टनाम का सामान्य हिस्सा है, अर्थात। क्लस्टर में होस्ट नाम एक विशिष्ट नियम द्वारा निर्दिष्ट किया जाना चाहिए। उदाहरण के लिए, क्लस्टर में होस्ट नाम:
- rmq-host1
- rmq-host2
- rmq-host3
इस मामले में, $ 1 को "rmq-host" होना चाहिए। स्क्रिप्ट Zabbix सर्वर / प्रॉक्सी को "rmq-host" नाम वाले सभी मेजबानों की सूची के लिए पूछेगा, जिसके बाद वह इस सूची से गुज़र जाएगा, जो RabbitMQ API के लिए आवश्यक डेटा का अनुरोध करता है। पहली सफल प्रतिक्रिया के बाद किसी भी मेजबान से, डेटा एकत्र किया जाएगा और zabbix_sender द्वारा भेजने के लिए एक फ़ाइल पर लिखा जाएगा। लेखन के समय, कोड में एक दोष है, अगर RabbitMQ क्लस्टर से एक से अधिक होस्ट जवाब नहीं देते हैं - कुछ भी नहीं होगा। वर्तमान कार्यान्वयन में, मेजबान नामों की आवश्यकताएं संबंधित हैं। डेटाबेस के लिए SQL क्वेरी के साथ, अब तक केवल।
कलेक्टर को क्रॉस्टैब में पंजीकृत किया जाना चाहिए, जिसमें रिबबिट से डेटा संग्रह की आवृत्ति के बराबर आवृत्ति होती है। आवश्यक मॉड्यूल की एक सूची स्क्रिप्ट में ही मिल सकती है।

खोज करनेवाला

rmq_data_discover.pl - Zabbix में निम्न-स्तरीय खोज (निम्न स्तर की खोज या LLD) के लिए उपयोग किया जाता है।

के उपयोग
इसमें 3 आवश्यक इनपुट पैरामीटर हैं:

$ 1 - Zabbix में RabbitMQ होस्ट का पूरा नाम, अगर RabbitMQ क्लस्टर के रूप में नहीं चल रहा है। एक क्लस्टर के लिए, सिद्धांत एक कलेक्टर के लिए समान है। पहली सफल प्रतिक्रिया के बाद, सूची बंद हो जाएगी और निम्न स्तर की खोज के लिए संदेश का संकलन शुरू हो जाएगा।

$ 2 - regexp जिसके द्वारा मेट्रिक्स को स्क्रिप्ट के चलने के समय चुना जाएगा। LLD सेटिंग्स में Zabbix साइड पर regexp फ़िल्टर के साथ भ्रमित होने की नहीं। यह अलगाव कुछ मामलों में सुविधाजनक है।

$ 3 - RabbitMQ एपीआई पथ, समर्थित लोगों की सूची में से कोई भी (देखें। पी क्या लागू किया गया है)।

स्क्रिप्ट Zabbix प्रॉक्सी / सर्वर कॉन्फ़िगरेशन में निर्दिष्ट बाह्य फ़ोल्डर में स्थापित होना चाहिए। एलएलडी नियमों को स्थापित करने के उदाहरण लेख के अंत में दिए गए हैं।

उदाहरण Zabbix में होस्ट कॉन्फ़िगरेशन

एक खरगोश समूह है जिसमें तीन मेजबान होते हैं। होस्ट स्वयं व्यक्तिगत रूप से zabbix एजेंटों, Template_Linux टेम्पलेट द्वारा मॉनिटर किए जाते हैं, जिसमें CPU, मेमोरी आदि के लिए मानक मैट्रिक्स होते हैं। क्लस्टर मेट्रिक्स के लिए एक अलग होस्ट "rmq- होस्ट" बनाया गया है। संपूर्ण क्लस्टर के लिए होस्ट नाम क्लस्टर में होस्ट नामों का सामान्य भाग है। यह वर्तमान कार्यान्वयन में एक शर्त है, अन्यथा डेटाबेस से चयन सही ढंग से काम नहीं करेगा।

कुंजी सिंटैक्स

अब बात करते हैं कि रिबेट के लिए मैंने जो सिंटैक्स विकसित किया है। जैसा कि ऊपर बताया गया है, ज़ैबिक्स में, आइटम ज़ैबिक्स ट्रैपर के प्रकार के होने चाहिए।

रीबिट की निगरानी के लिए दो प्रकार के आइटम हैं, सरल और एकत्रित, उनका सिंटैक्स थोड़ा अलग है। व्यक्तिगत पैरामीटर मान प्राप्त करने के लिए सरल वस्तुओं का उपयोग किया जाता है। किसी दिए गए शर्त के अनुसार मूल्यों की एक सरणी का चयन करने और उन्हें एकत्र करने के लिए एकत्रित वस्तुओं का उपयोग किया जाता है। दोनों स्थितियों में, शर्तों को निर्दिष्ट नहीं किया जा सकता है (वैकल्पिक)।

सरल मूल्य

सिंटैक्स : <path.to.value.inside.json> [$ प्रकार: $ api_path: $ elementname]

<path.to.value.inside.json> - सरणी के प्रत्येक तत्व के अंदर मूल्य का पथ।

$ प्रकार - यह VHOST या "सामान्य" नाम हो सकता है, VHOST के मामले में, मूल्यों को निर्दिष्ट VHOST द्वारा खोजा जाएगा, "सामान्य" उन मानों के लिए आवश्यक कीवर्ड है जो VHOST के लिए विशिष्ट नहीं हैं।

$ api_path - RabbitMQ API पथ, समर्थित लोगों में से कोई भी (देखें पी। क्या लागू किया गया है)।

$ तत्व_नाम निर्दिष्ट $ api_path में सरणी तत्व का विशिष्ट पहचानकर्ता है, फेडरेशन-लिंक के लिए यह विनिमय है, बाइंडिंग के लिए यह गंतव्य है, बाकी नाम के लिए।

एकत्र मान

सामान्य वाक्यविन्यास: <path.to.value.inside.json | rmq> [एकत्र: $ api_path: $ func] [$ शर्तें]

एकत्रित - एक कीवर्ड है जिसके बाद कलेक्टर (rmq_data_collect.pl) समझता है कि कुंजी वाक्यविन्यास को प्रकार के मान के लिए पार्स किया जाना चाहिए।

$ api_path - एपीआई के लिए रास्ता, समर्थित लोगों में से कोई भी (देखें। पी क्या लागू किया गया है)।

$ func - 2 कार्य कार्यान्वित किए जाते हैं, योग और गणना।

$ शर्तें - एक वैकल्पिक पैरामीटर, यदि निर्दिष्ट किया गया है, तो डेटा सरणी में केवल वे तत्व जो स्थिति को फिट करते हैं, एकत्रीकरण के दौरान ध्यान में रखा जाएगा। शर्तों का सिंटैक्स निम्नानुसार है: [condition1 = "cond1", condition2 = "cond2", condition3 = "cond3", आदि]। उद्धरण चिह्नों की आवश्यकता है। हालत ही एक पर्ल रेक्सएक्सप है।

सम कार्य
सिंटैक्स: <path.to.value.inside.json> [एकत्र: $ api_path: sum] [$ शर्तें]

योग फ़ंक्शन निर्दिष्ट पथ <path.to.value.inside.json> को $ api_path द्वारा प्राप्त सरणी के प्रत्येक तत्व के अंदर और शर्त $ स्थितियों से मेल खाता है।

<path.to.value.inside.json> - RabbitMQ API पथ द्वारा प्राप्त सरणी के प्रत्येक तत्व के अंदर मान का पथ।

गिनती समारोह

सिंटैक्स: rmq [एकत्र: $ api_path: गिनती] [$ शर्तें]

गिनती फ़ंक्शन $ api_path द्वारा प्राप्त की गई स्थिति से मेल खाते हुए तत्वों की संख्या को गिनता है।

rmq - एक आवश्यक शब्द है, लेकिन किसी भी तरह से उपयोग नहीं किया जाता है (अक्षरों का बिल्कुल कोई सेट हो सकता है)। यह "Zabbix_trapper" के एक आइटम कुंजी पर ज़ैबिक्स के प्रतिबंध के कारण है - एक आइटम एक वर्ग ब्रैकेट के साथ शुरू नहीं हो सकता है।

उदाहरण

एकत्र मान

1) नोड्स सरणी में चल रहे तत्वों का योग गिना जाता है। नोट: यदि खरगोश काम कर रहा है, तो नोड 1 काम कर रहा है, क्रमशः, आउटपुट पर हमें काम करने वाले नोड की संख्या मिलती है।

2) कतार सरणी में तत्वों की संख्या को गिना जाता है, जहां नाम = ^ सिस्टम-कतार 1 $। क्योंकि हालत के मूल्य को हमेशा regexp के रूप में माना जाता है, अगर कुछ और regexp के अंतर्गत आता है, तो त्रुटियों से बचने के लिए स्ट्रिंग (^ $) की शुरुआत और अंत निर्धारित करना आवश्यक है। आउटपुट नाम प्रणाली- queues1 के साथ कतारों की संख्या है

3) नोड्स सरणी में तत्वों की कुल संख्या गिना जाता है। यानी क्लस्टर में कॉन्फ़िगर नोड्स की संख्या।

4) कनेक्शन सरणी में तत्वों की कुल संख्या गिना जाता है। यानी वर्तमान में क्लस्टर के लिए कनेक्शन की संख्या।

5) कनेक्शन सरणी में तत्वों की संख्या को गिनता है जिसके लिए प्रकार = "^ प्रत्यक्ष $" और प्रोटोकॉल = "^ Direct \ s0-9-1 $"।

सरल मूल्यों के उदाहरण एलएलडी में बाद में प्रदान किए जाते हैं। क्योंकि उन्हें सांख्यिकीय रूप से सेट करना सुविधाजनक नहीं है, अधिकांश कतारें लगातार दिखाई देती हैं और गायब हो जाती हैं।

निम्न स्तर की खोज

एक बड़े खरगोशबिट क्लस्टर कॉन्फ़िगरेशन के मामले में, निम्न-स्तरीय ज़ैबिक्स खोज का उपयोग करना बुद्धिमान होगा। Rmq_data_discover.pl का उपयोग ऊपर वर्णित है। यहां मैं स्क्रिप्ट द्वारा दिए गए उदाहरण और मूल्य बताऊंगा।

स्क्रिप्ट द्वारा लौटाए गए मान और जिनका उपयोग एलएलडी में किया जा सकता है:

कनेक्शन

{[#VHOST} "=> $ vhost,
{{#NAME} "=> $ नाम,
{{#NODE} "=> $ नोड,

नोड्स

"{#NODENAME}" => $ नाम,

बाइंडिंग

{[#SOURCE} "=> $ कतार स्रोत,
{[#VHOST} "=> $ vhost,
{{#DESTINATION} "=> $ कतार,
{{#THRESHOLD} "=> $ सीमा,

नोट: एक खाली स्रोत वाले सभी तत्वों को अनदेखा किया जाता है।

कतार

{[#VHOST} "=> $ vhost,
{# #QUEUE} "=> $ कतार नाम,

फेडरेशन

"# #VHOST"} => $ vhost,
"# #EXCHANGE} => $ नाम

एलएलडी उदाहरण

प्रत्येक पथ API के लिए नियम चलाने के उदाहरण:

प्रोटोटाइप आइटम के उदाहरण

पथ कतारों एपीआई में, हम कतारों की संख्या के बारे में चिंता किए बिना संसाधित संदेशों पर आंकड़े एकत्र कर सकते हैं।



1) निष्क्रिय_सियन फ़ील्ड का मान। एकमात्र फ़ील्ड जिसके अंदर rmq_data_collector.pl प्रसंस्करण है। नतीजतन, हमें एक टाइमस्टैम्प मिलता है जिसमें से कतार निष्क्रिय होती है।

2) संदेश_स्टेट्स तत्व के अंदर ऐक मान।

3) शेष मान मैसेज_स्टेट्स के साथ-साथ आइटम 2 पर भी काम करते हैं

कनेक्शन के लिए उदाहरण

आइटम दिए गए प्रकार के साथ कनेक्शन सरणी में तत्वों की संख्या को गिनता है, प्रत्येक {#VHOST} के लिए प्रोटोकॉल।

नोड्स के लिए उदाहरण

1) प्रत्येक नोड के लिए कनेक्शन की संख्या गिना जाता है।
2) नोड्स ऐरे के प्रत्येक तत्व के लिए रनिंग फ़ील्ड का मान लौटाता है। आउटपुट प्रत्येक नोड की स्वास्थ्य स्थिति है।

संक्षेप में देना

मुझे आशा है कि यह बहुत भ्रामक नहीं था। अगर कुछ स्पष्ट नहीं है, तो मैं टिप्पणियों में सभी सवालों के जवाब दूंगा।

किसी विशेष सॉफ़्टवेयर के लिए विशेष कस्टम कुंजी बनाने में वर्णित दृष्टिकोण का लाभ स्पष्ट है। ज़ैबिक्स के कोड को स्वयं बदलने की कोई आवश्यकता नहीं है। पहले से ही अब हम ऐसे प्लगइन्स बना सकते हैं, उन पर दस्तावेज़ लिख सकते हैं और इंटरनेट पर तैयार समाधानों का आदान-प्रदान कर सकते हैं। यदि हम ज़ैबिक्स में अनुकूलित कुंजी बनाने का विचार विकसित करते हैं, तो आदर्श रूप से मैं इसे देखना चाहूंगा, संभवतः एक नई सुविधा के रूप में। एक समान प्लगइन होने के बाद, जब आपको कुछ नए RabbitMQ मीट्रिक जोड़ने की आवश्यकता होती है, तो आपको बस उपयुक्त आइटम बनाने की आवश्यकता होती है, जैसा कि zabbix_agent के लिए किया जाता है।

यहां स्क्रिप्ट कोड: github.com/mfocuz/zabbix_plugins