हम अपने स्वयं के बाइंडिंग को जोड़कर सामूहिकता की कार्यक्षमता का विस्तार करते हैं

नमस्कार% habraUser%
इस लेख में हम कैसे अजगर करने के लिए नया बाइंडिंग जोड़कर आंकड़े संग्रह प्रणाली collectd का विस्तार करने के बारे में बात करेंगे।
यह लेख इस लेख का पूरक है ।

समस्या का बयान

आपको nginx के लिए ustats मॉड्यूल से संग्रह का उपयोग करके डेटा एकत्र करने की आवश्यकता है। HTTP 499, HTTP 500, HTTP 503 और टीसीपी त्रुटियों को इकट्ठा करना और उन्हें एक ही ग्राफ पर प्रदर्शित करना आवश्यक है।

समस्या हल करना

सामूहिक आँकड़ों को इकट्ठा करने का तरीका सीखने के बाद, यह स्पष्ट हो गया कि निम्नलिखित तरीकों से डेटा एकत्र करना:

• कर्ल-json
• निष्पादन प्लगइन
• अजगर / पर्ल / जावा प्लगइन

मैंने कलेक्ट के काम को और अधिक विस्तार से समझने के लिए अजगर में अपना खुद का प्लगइन लिखने का फैसला किया

प्लगइन एल्गोरिथ्म इस प्रकार है

• डेटा ले लो
• उन्हें पार्स करें
• कलेक्ट में डाल दिया।

हम डेटा लेते हैं:

collectd के लिए किसी भी मॉड्यूल को शामिल करना चाहिए
import collectd
हमें करने के लिए आवश्यक के रूप में मॉड्यूल लोड करने के लिए
import json, urllib2
Url वैरिएबल में, हम उस लिंक को स्टोर करेंगे जहाँ ustats डेटा json फॉर्मेट में स्थित है, जो कि हम कलेक्टेड कॉन्फिगर से प्राप्त करेंगे।
url = None
Ustats के साथ डेटा प्राप्त करना

 def fetch_data(url): response = urllib2.urlopen(urllib2.Request(url)) data = json.loads(response.read()) return data 

config से डेटा ले रहा है:

 def configure_callback(conf): global url for c in conf.children: if c.key == 'UstatsURL': url = c.values[0] elif c.key == 'Verbose': VERBOSE_LOGGING = bool(c.values[0]) else: collectd.warning ('ustats_info plugin: Unknown config key: %s.' % c.key) log_verbose('Configured with url=%s' % (url)) 

इसके अलावा, प्लग-इन एक "रीडर" होगा, तदनुसार, प्रेषण () फ़ंक्शन को समझना आवश्यक होगा, जो डेटा को सामूहिक में डाल देगा।
प्रेषण ([प्रकार] [, मान]] [, plugin_instance] [, type_instance] [, प्लगइन] [, मेजबान] [, समय] [, अंतराल]] -> कोई नहीं।
प्रकार - डेटा प्रकार
मान - वास्तविक मान जिन्हें संग्रह करने के लिए भेजा जाता है। डेटा प्रकार में वर्णित हैं types.db
plugin_instance - प्लगइन उदाहरण
type_instance - उदाहरण के प्रकार
प्लगइन - प्लगइन का नाम, डिफ़ॉल्ट रूप से अजगर
अंतराल - समान डेटा प्रकार के पहले और दूसरे भेजने के बीच, सेकंड में, समय की मात्रा। एक सकारात्मक पूर्णांक होना चाहिए। यदि संख्या नकारात्मक है, तो अंतराल डिफ़ॉल्ट मान लेता है (10 सेकंड)

समारोह collectd को डेटा भेजने के

 def dispatch_value(plugin_instance, info, key, type, type_instance=None): if not type_instance: type_instance = key value = int(info) log_verbose('Sending value: %s=%s' % (type_instance, value)) val = collectd.Values(plugin='ustats_info') val.plugin_instance = plugin_instance val.type = type val.type_instance = type_instance val.values = [value] val.dispatch() 

निम्नलिखित योजना पर collectd भंडार डेटा:
host "/" plugin ["-" plugin instance] "/" type ["-" type instance]
यहाँ हमारे पास है:
plugin_instance = नदी के ऊपर
प्रकार = बैकएंड
type_instance = त्रुटियाँ
आउटपुट पर, हमें निम्न जैसा कुछ मिलता है:
मेजबान / प्लगइन-अपस्ट्रीम / बैकएंड- tcperror.rrd

अब मुख्य कार्य जिसे लूप में कलेक्ट किया जाएगा

 def read_callback(): global old_data log_verbose('Read callback called') data = fetch_data(url) last_backend = None if not data: collectd.error('ustats plugin: No data received') return if old_data == None: old_data = data upstreams = [] for key in data.keys(): upstreams.append(key) for upstream in upstreams: for index in range(len(data[upstream])): if data[upstream][index] and data[upstream][index] !=1 and data[upstream][index][0] != last_backend: dispatch_value(upstream, getValue(data[upstream][index][4], old_data[upstream][index][4]), 'http_499_errors', data[upstream][index][0].partition(":")[0]) dispatch_value(upstream, getValue(data[upstream][index][5], old_data[upstream][index][5]), 'http_500_errors', data[upstream][index][0].partition(":")[0]) dispatch_value(upstream, getValue(data[upstream][index][6], old_data[upstream][index][6]), 'http_503_errors', data[upstream][index][0].partition(":")[0]) dispatch_value(upstream, getValue(data[upstream][index][7], old_data[upstream][index][7]), 'tcp_errors', data[upstream][index][0].partition(":")[0]) dispatch_value(upstream, getValue(data[upstream][index][13], old_data[upstream][index][13]), 'total_errors', data[upstream][index][0].partition(":")[0]) last_backend = data[upstream][index][0] old_data = data 

हम पाठक फ़ंक्शन और कॉन्फ़िगरेशन फ़ंक्शन को पंजीकृत करने के बाद

 collectd.register_config(configure_callback) collectd.register_read(read_callback) 

प्लगइन तैयार है, लेकिन हमने ऐसे प्रकारों का उपयोग किया है जिन्हें संग्रह करने के लिए नहीं जाना जाता है, इसे my_types.db में जोड़ें
backend value:GAUGE:0:65535
हम प्लग-इन का वर्णन collectd.conf

 <Plugin python > ModulePath "/usr/lib/collectd/plugins/python" #   ,    Import "ustats_info" #   <Module ustats_info> UstatsURL "http://localhost/ustats?json" Verbose true </Module> </Plugin> 

निष्कर्ष

चार्ट इस तरह के होते हैं

GitHub पर स्क्रिप्ट का पूरा पाठ
आशा है कि यह लेख किसी को संग्रह आँकड़े एकत्र करने में मदद करता है