हम एकत्रित प्रोटोकॉल के माध्यम से अपने काउंटरों को इकट्ठा करते हैं

नमस्ते!

आपको लगता है कि अपनी खुद की सेवाओं से काउंटरों को कैसे इकट्ठा किया जाए?
क्या आप पार्स लॉग से थक गए हैं?
क्या आप लगातार एक नई सेवा के लिए काउंटरों के संग्रह को कॉन्फ़िगर करना भूल जाते हैं या जो एक जगह पर स्थानांतरित हो गया है?



फिर स्वागत है!

किसी भी बड़ी परियोजना में, समय के साथ, सभी प्रकार की विभिन्न अति विशिष्ट सेवाओं का एक गुच्छा दिखाई देता है जिसे आपको अधिक हार्डवेयर ऑर्डर करने के लिए कम से कम समझने की आवश्यकता होती है।
इसके लिए, "महत्वपूर्ण संकेतक" का आविष्कार आम तौर पर किया जाता है, जिसके लिए आप सुंदर ग्राफिक्स देखना चाहते हैं ताकि आप करीब या दूर तक समझ सकें, उदाहरण के लिए, प्रदर्शन की "छत"।

बेशक, डेवलपर्स लॉग पर कंजूसी नहीं करते हैं और इससे पहले कि मैं किसी तरह का शेड्यूल बनाने के लिए लंबे और दर्दनाक समय के लिए इस सामान के गीगाबाइट को पार्स करना था।

आप इसके साथ रह सकते हैं, लेकिन जीवन को बेहतर बनाया जा सकता है, खासकर जब आपके पास सेवा कोड तक पहुंच हो। फिर आप सेवा को स्वतंत्र रूप से डेटा संग्रह सेवा - संग्रह के बारे में स्वयं को डेटा भेजने के लिए सिखा सकते हैं

हैबर में पहले से ही इस सेवा की वास्तुकला का अवलोकन था, इसलिए हम इस पर विस्तार से ध्यान नहीं देंगे।

सामूहिक का सार:

• यह एक डेमॉन है जो एक पोर्ट पर सुनता है।
• Udp पैकेट स्वीकार करें ( प्रोटोकॉल देखें)
• पैकेट से निकाले गए डेटा को rrd डेटाबेस में लिखा जाता है

यह आपकी सेवाओं को पढ़ाने के लिए बना हुआ है कि ऐसे udp- संकुल को कैसे कॉन्फ़िगर करें और भेजें, ग्राफिक्स लगभग तैयार हैं।

सामूहिक विन्यास

पहले आपको अपने स्वयं के काउंटरों को समझने के लिए सामूहिक सिखाना होगा।

/etc/collectd.conf और हमारे प्रकारों का विवरण जोड़ें:

TypesDB "/usr/lib/collectd/types.db" "/etc/collectd/customtypes.db"

उदाहरण संख्या १। डेटा को अलग-अलग rrd फ़ाइलों में सहेजा जाएगा

http_server_avg_item_process_time value:GAUGE:0:U
http_server_items_processed value:GAUGE:0:U

उदाहरण संख्या 2। डेटा को एक rrd फ़ाइल में सहेजा जाएगा

process_memory working_set:GAUGE:0:U, peak_working_set:GAUGE:0:U

अंतर यह है कि पहले उदाहरण के लिए आपको 2 udp पैकेट भेजने होंगे, और दूसरे के लिए आप दो मानों के साथ एक पैकेट भेज सकते हैं।

हम सामूहिक को पुनः आरंभ करते हैं और यह आपका डेटा प्राप्त करने के लिए तैयार है।

अजगर में बाइनरी प्रोटोकॉल

वास्तव में, बाइनरी प्रोटोकॉल को लागू करना किसी भी भाषा में काफी सरल है, क्योंकि अजगर के बारे में एक ब्लॉग अजगर में होगा :)

NB : मैं 5 पैकेज - 4.4.2 से डेबोन के कलेक्ट डेमन के मानक संस्करण का उपयोग कर रहा हूं। यह पहले से ही काफी पुराना है, लेकिन जैसे कि बाइनरी प्रोटोकॉल वहां नहीं बदला है, इसलिए ऐसा लगता है कि संस्करण एक विशेष भूमिका नहीं निभाता है।

डिफ़ॉल्ट कार्यान्वयन मूल रूप से काम करता है, लेकिन यह एक पैकेज में कई मान भेजने की क्षमता से वंचित है।

यदि आप डिफ़ॉल्ट कार्यान्वयन से लगभग सब कुछ निकाल कर फेंक देते हैं और कई मान भेजना समाप्त कर लेते हैं, तो आप निम्न कोड प्राप्त कर सकते हैं:

 import struct import time import socket SEND_INTERVAL = 10 # seconds MAX_PACKET_SIZE = 1024 # bytes TYPE_NAME = "gauge" TYPE_HOST = 0x0000 TYPE_TIME = 0x0001 TYPE_PLUGIN = 0x0002 TYPE_PLUGIN_INSTANCE = 0x0003 TYPE_TYPE = 0x0004 TYPE_TYPE_INSTANCE = 0x0005 TYPE_VALUES = 0x0006 TYPE_INTERVAL = 0x0007 LONG_INT_CODES = [TYPE_TIME, TYPE_INTERVAL] STRING_CODES = [TYPE_HOST, TYPE_PLUGIN, TYPE_PLUGIN_INSTANCE, TYPE_TYPE, TYPE_TYPE_INSTANCE] VALUE_COUNTER = 0 VALUE_GAUGE = 1 VALUE_DERIVE = 2 VALUE_ABSOLUTE = 3 VALUE_CODES = { VALUE_COUNTER: "!Q", VALUE_GAUGE: "<d", VALUE_DERIVE: "!q", VALUE_ABSOLUTE: "!Q" } def pack_numeric(type_code, number): return struct.pack("!HHq", type_code, 12, number) def pack_string(type_code, string): return struct.pack("!HH", type_code, 5 + len(string)) + string + "\0" def pack(typeId, value): if typeId in LONG_INT_CODES: return pack_numeric(typeId, value) elif typeId in STRING_CODES: return pack_string(typeId, value) else: raise AssertionError("invalid type code " + str(id)) def pack_counters(counters): length = 6 + len(counters)*9 result = [] result.append(struct.pack("!HHH", TYPE_VALUES, length, len(counters))) for value in counters: result.append(struct.pack("<B", VALUE_GAUGE)) # this code allow to send only gauge value for value in counters: result.append(struct.pack("<d", value)) return result def message_start(when=None, host=socket.gethostname(), plugin_inst="", plugin_name="any", value_type=TYPE_NAME): return "".join([ pack(TYPE_HOST, host), pack(TYPE_TIME, when or time.time()), pack(TYPE_PLUGIN, plugin_name), pack(TYPE_PLUGIN_INSTANCE, plugin_inst), pack(TYPE_TYPE, value_type), pack(TYPE_TYPE, value_type), pack(TYPE_INTERVAL, SEND_INTERVAL) ]) def create_message(counters, when=None, host=socket.gethostname(), plugin_inst="", plugin_name="any", type_name=TYPE_NAME): message = [message_start(when, host, plugin_inst, plugin_name, type_name)] parts = pack_counters(counters) message.extend(parts) return "".join(message) 

दो काउंटरों के साथ भेजने के लिए एक udp पैकेट बनाने का एक उदाहरण

 create_message([working_set_value, peak_working_set_value], plugin_name='service_name', type_name='process_memory') 

इस तरह के पैकेज को प्राप्त करने के बाद, सामूहिक आपके डेटा को लगभग निम्नलिखित तरीके से फ़ाइल में बनाएगा या जोड़ेगा:
/var/lib/collectd/rrd/hostname/service_name/process_memory.rrd

Wireshark डिबगिंग में बहुत मदद कर सकता है, जो कलेक्ट प्रोटोकॉल को समझता है और यह बता सकता है कि अगर कलेक्ट लॉग में कुछ भी समझदारी नहीं है तो इसके साथ क्या गलत है।

भवन का रेखांकन

कलेक्ट एक डेटा कलेक्टर है और इससे ज्यादा कुछ नहीं है। ग्राफ बनाने के लिए उसे एक वेब फेस की जरूरत होती है।
सामूहिक के लिए आदर्श साथी जिसे मैंने ढूंढने में कामयाबी हासिल की है ।
यह rrdtool के लिए वेब चेहरा है और इससे अधिक कुछ नहीं।

मुख्य विशेषता जो मुझे व्यक्तिगत रूप से पसंद है और जो शेष वेब चेहरों के पास नहीं है, नियमित अभिव्यक्ति के लिए रेखांकन की एक लचीली सेटिंग है। Drraw स्वचालित रूप से सभी होस्ट / सेवाओं / आदि को ढूंढेगा और उन्हें एक चार्ट पर संयोजित करेगा।

चार्ट सेटिंग्स का स्क्रीनशॉट (आंशिक रूप से)

ग्राफ उदाहरण

UPD कोड में एक छोटा बगफिक्स। भेजे गए मूल्यों के क्रम को customtypes.db में परिभाषित किए गए तरीके से मेल खाना चाहिए