🕺 🎅🏽 🎅🏻 ग्रेफाइट + virtualenv + संग्रह का एक समूह सेट करें 🚿 🕌 🧑🏿‍🤝‍🧑🏾

इस लेख में, मैं ग्रेफाइट के साथ संयोजन में एकत्रित आंकड़ों के लिए संग्रह और विज़ुअलाइज़ेशन सांख्यिकी सेवा स्थापित करने में अपने अनुभव को साझा करना चाहूंगा। पहले का उपयोग डेटा कलेक्टर के रूप में किया जाता है, दूसरा - एक विज़ुअलाइज़र के साथ एक भंडार के रूप में।

प्रेरणा

कुछ समय पहले तक, मैंने मुनिन को आंकड़े इकट्ठा करने और प्रदर्शित करने के लिए उपयोग किया था, लेकिन इसके ग्राफ़ ने मुझे हमेशा परेशान किया (उपस्थिति) मुझे पता नहीं क्यों। इसके अलावा, अद्यतन के बाद, कुछ लगातार गिर गया और इसने मुझे परेशान कर दिया। इस सब के संबंध में, मैंने एक विकल्प की तलाश करने का फैसला किया और सामूहिक रूप से आया। सामान्य तौर पर, वह मुझे एक योग्य विकल्प लगता था, लेकिन सभी वेब विज़ुअलाइज़र जो मुझे उसकी तलाश थे, वह मुझे थोड़ा अजीब लगा और मैं पहले ही इस उपक्रम को समाप्त करना चाहता था। और फिर, मुझे याद आया कि हाल ही में काम के दौरान हमने ग्रेफाइट की स्थापना की। मैंने यह तय करने की कोशिश की कि इसमें क्या आता है।

लक्ष्य

सुपरवाइजर, uwsgi और virtualenv का उपयोग कर काम करने के लिए ग्रेफाइट को कॉन्फ़िगर करें और बाहर से दिखाई दे (nginx)। सामूहिक, एक ही समय में, सीधे ग्रेफाइट डेटा देना चाहिए।

सीसा

पहले आपको एक निर्देशिका बनाने की आवश्यकता है जहां ग्रेफाइट लाइव होगा और वहां एक आभासी वातावरण तैनात करेगा।

$ mkdir /var/projects/graphite $ cd /var/projects/graphite $ virtualenv --no-site-packages .env $ virtualenv --relocatable .env $ source .env/bin/activate

छवियों के साथ काम करने के लिए, ग्रेफाइट कैरो का उपयोग करता है इसलिए यह आवश्यक है कि यह लाइब्रेरी सिस्टम पर स्थापित हो। मेरे मामले में, सब कुछ पहले से ही है, इसलिए मैं केवल वर्णन करूंगा कि वर्चुअल वातावरण में पायकोरियो कैसे स्थापित किया जाए।

डाउनलोड करें और py2cairo स्थापित करें

 $ wget http://cairographics.org/releases/py2cairo-1.10.0.tar.bz2 $ tar -jxf py2cairo-1.10.0.tar.bz2 && cd py2cairo-1.8.10 $ ./waf configure --prefix=$VIRTUAL_ENV $ ./waf build $ ./waf install $ cd .. && rm -R py2cairo-1.8.10 && rm py2cairo-1.10.0.tar.bz2

हमने कानाफूसी की

 $ wget https://launchpad.net/graphite/0.9/0.9.9/+download/whisper-0.9.9.tar.gz $ tar -xzpf whisper-0.9.9.tar.gz && cd whisper-0.9.9 $ python setup.py install $ cd .. && rm -R whisper-0.9.9 && rm whisper-0.9.9.tar.gz

हमने कार्बन डाला

 $ wget https://launchpad.net/graphite/0.9/0.9.9/+download/carbon-0.9.9.tar.gz $ tar -xzpf carbon-0.9.9.tar.gz && cd carbon-0.9.9

हमारे सैंडबॉक्स में सब कुछ स्थापित करने के लिए, setup.cfg फ़ाइल में, परिवर्तन करें:
prefix = /opt/graphite
पर:
prefix = $VIRTUAL_ENV/..
जिसके बाद:

 $ python setup.py install $ cd .. && rm -R carbon-0.9.9 && rm carbon-0.9.9.tar.gz

हम ग्रेफाइट (वेबप) डालते हैं

 $ wget https://launchpad.net/graphite/0.9/0.9.9/+download/graphite-web-0.9.9.tar.gz $ tar -xzpf graphite-web-0.9.9.tar.gz && cd graphite-web-0.9.9

Check-d dependencies.py का उपयोग करके हम जाँचते हैं कि और क्या स्थापित करना है, मेरे मामले में यह है:

 $ pip install django django-tagging twisted python-memcached psycopg2 egenix-mx-base

उत्तरार्द्ध, सिद्धांत रूप में, इच्छाशक्ति पर, लेकिन मैंने सोचा, क्योंकि मेरे पास अभी भी यह है, इसे रहने दो।
कार्बन के साथ सादृश्य द्वारा, setup.cfg फ़ाइल में हम बदलते हैं:
prefix = /opt/graphite
पर:
prefix = $VIRTUAL_ENV/..
जिसके बाद:

 $ python setup.py install $ cd .. && rm -R graphite-web-0.9.9 && rm graphite-web-0.9.9.tar.gz

कार्बन और ग्रेफाइट को अनुकूलित करें

पर्यवेक्षक के लिए विन्यास फाइल कुछ इस तरह दिखाई देगी:

 [program:graphite_uwsgi] command=/usr/bin/uwsgi --pidfile /var/projects/graphite/run/graphite_uwsgi.pid -x /var/projects/graphite/conf/uwsgi.conf --vacuum directory=/var/projects/graphite/webapp/ autostart=true autorestart=true startsecs=5 startretries=3 stopsignal=TERM stopwaitsecs=15 stopretries=1 stopsignal=QUIT redirect_stderr=false stdout_logfile=/var/projects/graphite/storage/log/graphite_uwsgi.log stdout_logfile_maxbytes=1MB stdout_logfile_backups=10 stdout_capture_maxbytes=1MB stderr_logfile=/var/projects/graphite/storage/log/graphite_uwsgi-error.log stderr_logfile_maxbytes=1MB stderr_logfile_backups=10 stderr_capture_maxbytes=1MB [program:carbon] command=/var/projects/graphite/.env/bin/python /var/projects/graphite/bin/carbon-cache.py --debug start priority=1 autostart=true autorestart=true startsecs=3 redirect_stderr=false stdout_logfile=/var/projects/graphite/storage/log/carbon.log stdout_logfile_maxbytes=1MB stdout_logfile_backups=10 stdout_capture_maxbytes=1MB stderr_logfile=/var/projects/graphite/storage/log/carbon-error.log stderr_logfile_maxbytes=1MB stderr_logfile_backups=10 stderr_capture_maxbytes=1MB

यह इंगित करता है कि ग्रेफाइट बैकएंड और कार्बन सर्वर को कैसे चलाना है। मेरे मामले में, मैंने इस फाइल को सैंडबॉक्स की गुप्त निर्देशिका में डाल दिया है और उस निर्देशिका में इसका लिंक बनाता है जहां पर्यवेक्षक इसे ढूंढेगा।
आगे, मैं uwsgi के लिए एक विन्यास बना रहा हूँ जो इस तरह दिखता है:

 <uwsgi> <socket>127.0.0.1:8001</socket> <processes>2</processes> <home>/var/projects/graphite/.env</home> <pythonpath>/var/projects/graphite/webapp/</pythonpath> <chdir>/var/projects/graphite/webapp</chdir> <max-requests>2000</max-requests> <touch-reload>/var/projects/graphite/uwsgi.reload</touch-reload> <harakiri>120</harakiri> <post-buffering>8192</post-buffering> <post-buffering-bufsize>65536</post-buffering-bufsize> <master/> <single-interpreter/> <env>DJANGO_SETTINGS_MODULE=graphite.settings</env> <module>wsgi</module> </uwsgi>

मॉड्यूल को लॉन्च करने के लिए पायथन मॉड्यूल को निर्देश देता है। एक आधार के रूप में, मैंने ग्रेफाइटवॉगी.एक्सप्लिमेंट लिया, जो वहीं पर स्थित है, इसे सही किया और इसे wsgi.py नाम के साथ / var / प्रोजेक्ट्स / ग्रेफाइट / वेबप निर्देशिका में डाल दिया। संपादन के बाद, वह इस तरह दिखना शुरू हुआ:

 import os import django.core.handlers.wsgi application = django.core.handlers.wsgi.WSGIHandler() # READ THIS # Initializing the search index can be very expensive, please include # the WSGIScriptImport directive pointing to this script in your vhost # config to ensure the index is preloaded before any requests are handed # to the process. from graphite.logger import log log.info("graphite.wsgi - pid %d - reloading search index" % os.getpid()) import graphite.metrics.search

अगला, गोपनीय निर्देशिका में, कुछ फ़ाइलों का नाम बदलें:

 $ mv carbon.conf.example carbon.conf $ mv storage-schemas.conf.example storage-schemas.conf

इसके अलावा, वेबैप / ग्रेफाइट निर्देशिका में, आपको सेटिंग फ़ाइल का नाम बदलने की आवश्यकता है:

 $ mv local_settings.py.example local_settings.py

इस फ़ाइल में आवश्यक परिवर्तन करने की भी सिफारिश की गई है, उदाहरण के लिए, मैंने वहां पॉज़रेस्केल तक पहुंच के लिए सेटिंग्स दर्ज की।
ग्रेफाइट डेटाबेस को इनिशियलाइज़ करने के लिए local_settings को संपादित करने के बाद, आपको निर्देशों का निष्पादन और पालन करना होगा:

 $ python webapp/graphite/manage.py syncdb

ग्रेफाइट के लिए Nginx

मैंने इस तरह एक फाइल बनाई:

 server { access_log /var/projects/graphite/storage/log/nginx.access.log main; error_log /var/projects/graphite/storage/log/nginx.error.log info; listen 80; server_name graphite.some_site.com; root /var/projects/graphite/webapp/; location / { include /etc/nginx/uwsgi_params; uwsgi_pass 127.0.0.1:8001; } location /content/ { access_log off; expires 30d; } }

मैंने इसे सैंडबॉक्स गोपनीय निर्देशिका में सहेजा, पर्यवेक्षक और uwsgi के लिए उपरोक्त फाइलों के बगल में, इसे nginx.conf नाम दिया और nginx वर्चुअल होस्ट निर्देशिका में इसके लिए एक सिमलिंक बनाया।

लांच

सुपरवाइजर और नेग्नेक्स को पुनः आरंभ करने से पहले, आपको सैंडबॉक्स निर्देशिका पर अनुमतियों को ठीक करने की आवश्यकता है ताकि फाइल और निर्देशिका उपयोगकर्ता द्वारा पठनीय हो, जिसमें से nginx और सुपरवाइजर शुरू होता है। इसके अलावा, इन उपयोगकर्ताओं को चलाने, भंडारण निर्देशिकाओं को चलाने की अनुमति दी जानी चाहिए। मेरे मामले में, पर्यवेक्षक और nginx दोनों www समूह से संबंधित हैं, इसलिए मैं निम्नलिखित कार्य करता हूं:

 $ mkdir /var/projects/graphite/run $ chown myuser:www -R /var/projects/graphite $ cd /var/projects/graphite $ chmod -R 770 storage run

यही बात है, पर्यवेक्षक और nginx को पुनरारंभ करें। भंडारण में लॉग से, हम देखते हैं कि सब कुछ ठीक है, और निर्दिष्ट पते पर ब्राउज़र में, हम ग्रेफाइट देखते हैं।

Collectd

यहां सब कुछ बहुत सरल है :-) सबसे पहले आपको आवश्यक प्लग-इन के सेट के साथ सिस्टम पर संग्रहण स्थापित करने की आवश्यकता है। मैं इस प्रक्रिया का वर्णन नहीं करूंगा, क्योंकि हर कोई जानता है कि किसी विशेष वितरण में अनुप्रयोगों को कैसे स्थापित किया जाए।
चूंकि सेवा को डेटा संग्रहण की आवश्यकता नहीं है, इसलिए मैंने rrd * स्थापित नहीं किया। रफ्तूल की जगह ग्रेफाइट का इस्तेमाल किया जाएगा। एकत्र किए गए डेटा को स्थानांतरित करने के लिए जहां यह होना चाहिए, आपको एक प्लगइन स्थापित करने की आवश्यकता है जो ऐसा करेगा। मैंने सामूहिक-कार्बन का विकल्प चुना, जो कि अजगर में लिखा है। सबसे पहले मैंने C ( कलेक्टेड-राइट_ग्राफाइट ) में लिखे एक प्लगइन का उपयोग करने की कोशिश की, इसने तुरंत काम भी किया, केवल कुछ अजीब मेट्रिक्स के नाम भेजे गए और मैंने इसे मना कर दिया।
प्लगइन को कॉन्फ़िगर करना सरल और सीधा है और ऊपर दिए गए लिंक पर गिटहब पर देखा जा सकता है।

परिणाम

शायद मैं इसे पूरा कर लूंगा, क्योंकि लक्ष्य हासिल कर लिया गया है। मैं इस बंडल का उपयोग होम सर्वर पर आंकड़े देखने के लिए करता हूं और निकट भविष्य में कई बाहरी मशीनों से यहां डेटा भेजने की योजना बनाता हूं। इस प्रकार ग्रेफाइट आँकड़ों के एग्रीगेटर के रूप में कार्य करता है।
आपका ध्यान देने के लिए धन्यवाद, मुझे उम्मीद है कि पोस्ट किसी और के लिए उपयोगी होगी। अगर यह थोड़ा लंबा हो गया (और शायद कुछ जगहों पर आसानी से नहीं), तो मैं माफी मांगता हूं।

संदर्भ

http://graphite.readthedocs.org/en/1.0/index.html
http://www.frlinux.eu/?p=199
http://graphite.wikidot.com/
http://mldav.blogspot.com/2011/10/debian-graphite.html
http://collectd.org/

पुनश्च

"शरीर के आंदोलनों" के बारे में। यह ग्रेफाइट डेवलपर्स की दिशा में एक पत्थर है, जिसने किसी कारण से, बनाने के लिए परेशान नहीं किया, उदाहरण के लिए, 3 + के बजाय 1 पैकेज एक छोटी स्क्रिप्ट जो पर्यावरण को स्थापित करती है।

ग्रेफाइट + virtualenv + संग्रह का एक समूह सेट करें