विसंगतियों का पता लगाने और सहसंबंधित करने के लिए केल एक खुला स्रोत उपकरण है

आईटी बुनियादी ढांचे की निगरानी के लिए, हम कई उपकरणों का उपयोग करते हैं, जिनमें शामिल हैं:

• जैबिक्स - हब पर उनके बारे में बहुत सारे लेख लिखे गए हैं हम वास्तव में इसकी निम्न-स्तरीय पहचान क्षमताओं को पसंद करते हैं, लेकिन इसकी डेटा विज़ुअलाइज़ेशन क्षमताएं खराब हैं।
• ग्रेफाइट एक ऐसी प्रणाली है जो डेटा संग्रहीत करती है और इसे प्रदर्शित करने के लिए एक सुविधाजनक इंटरफ़ेस है। अब हम इसमें Zabbix से मैट्रिक्स आयात करते हैं और इतिहास को संग्रहीत करते हैं।
• शिंकेन एक निगरानी प्रणाली है जो नागियोस पर आधारित है और पायथन में लिखी गई है। अब हम उसकी ओर देख रहे हैं। हम इस तथ्य को पसंद करते हैं कि नेटडॉट नेटवर्क प्रलेखन प्रणाली (मैंने इसके बारे में पहले लिखा था) से डेटा आयात करना बहुत आसान है, और यह ग्रेफाइट के साथ आसानी से एकीकृत भी करता है।

लंबे समय तक विभिन्न निगरानी प्रणालियों के फायदे / नुकसान पर चर्चा करना संभव है, लेकिन मैं केवल एक मुद्दे पर ध्यान देना चाहता हूं - विसंगतियों की पहचान । जब आपके मॉनिटरिंग सिस्टम में मेट्रिक्स की संख्या सैकड़ों में मापी जाती है, तो उनमें से एक या अधिक के असामान्य व्यवहार को ट्रैक करना मुश्किल नहीं है। लेकिन जब मेट्रिक्स की संख्या को दसियों या सैकड़ों हजारों में मापा जाता है, तो विसंगतियों का स्वतः पता लगाने का मुद्दा प्रासंगिक हो जाता है। कोई भी व्यवस्थापक या व्यवस्थापकों का समूह मैन्युअल रूप से सैकड़ों उपकरणों की एक जटिल प्रणाली के व्यवहार को ट्रैक नहीं कर सकता है।
अस्सी इंजीनियरों ने एक बार इस समस्या का सामना किया और विसंगतियों का पता लगाने और सहसंबंध के लिए अपने स्वयं के उपकरण विकसित किए। इसे कली कहते हैं और इसमें दो भाग होते हैं:

• क्षितिज
• ओकुलस

प्रत्येक भाग पर अधिक विस्तार से विचार करें।

क्षितिज

स्काईलाइन एक वास्तविक समय की विसंगति का पता लगाने वाला सिस्टम है। यह उनमें से प्रत्येक के लिए थ्रेसहोल्ड को कॉन्फ़िगर करने की आवश्यकता के बिना, सैकड़ों हजारों मैट्रिक्स की निष्क्रिय निगरानी करने के लिए बनाया गया था। इसका मतलब है कि आपको अपने निगरानी तंत्र में मैन्युअल रूप से ट्रिगर थ्रेसहोल्ड सेट करने की आवश्यकता नहीं है - सिस्टम स्वचालित रूप से इसमें दर्ज किए गए डेटा का विश्लेषण करता है और, इसमें निर्मित कई एल्गोरिदम के आधार पर, इस डेटा के "विषम प्रकृति" के बारे में निर्णय लेता है।



स्काईलाइन में कई घटक होते हैं।

क्षितिज

क्षितिज वह घटक है जो डेटा एकत्र करने के लिए जिम्मेदार है। यह दो प्रारूपों में डेटा को स्वीकार करता है: अचार (टीसीपी) और संदेशपैक (यूडीपी)।
इस प्रकार, आप निम्नलिखित श्रृंखला को कॉन्फ़िगर कर सकते हैं: मॉनिटरिंग सिस्टम "मेट्रिक_नाम time_stamp_value" को ग्रेफाइट में प्रारूप में डेटा भेजता है। ग्रेफाइट पक्ष पर, कार्बन-रिले काम करता है, जो क्षितिज को अचार डेटा भेजता है। फिर, डेटा प्राप्त करने के बाद, क्षितिज इसे संसाधित करता है, इसे मैसेजपैक का उपयोग करके एन्कोड करता है और इसे रेडिस को भेजता है। या आप निगरानी प्रणाली को कॉन्फ़िगर कर सकते हैं ताकि यह सीधे क्षितिज में डेटा भेजता है, इसे मैसेजपैक प्रारूप में पूर्व-एन्कोडिंग करता है। इसके अलावा, आधुनिक प्रोग्रामिंग भाषाओं की अधिकांश भाषाओं में MessagePack के साथ काम करने के लिए मॉड्यूल हैं।
इसके अलावा, क्षितिज नियमित रूप से पुराने मीट्रिक को ट्रिम और साफ़ करता है। यदि ऐसा नहीं किया जाता है, तो जल्द ही सभी मुफ्त मेमोरी समाप्त हो जाएगी।
सेटिंग्स में, आप मीट्रिक की एक सूची भी निर्दिष्ट कर सकते हैं जिसे अनदेखा किया जाएगा।

Redis

रेडिस एक अलग घटक है, लेकिन स्काईलाइन इसके बिना काम नहीं करेगा। इसमें, वह सभी मैट्रिक्स और एन्कोडेड टाइम सीरीज़ को स्टोर करता है।
इस घोल के अपने फायदे और नुकसान हैं। एक ओर, इस तथ्य के कारण रेडिस का उच्च प्रदर्शन है कि सभी डेटा रैम में संग्रहीत हैं। डेटा "कुंजी - मान" के रूप में संग्रहीत किया जाता है, जहां कुंजी मीट्रिक का नाम है, और मूल्य इसके अनुरूप एन्कोडेड समय श्रृंखला है। दूसरी ओर, रेडिस बहुत लंबी लाइनों के साथ एक गरीब काम करता है। जितना लंबा स्ट्रिंग, उतना कम प्रदर्शन। जैसा कि अभ्यास से पता चला है, एक / दो दिन से अधिक डेटा संग्रहीत करने का कोई मतलब नहीं है। अधिकांश प्रणालियों में, डेटा प्रति घंटा, दैनिक, साप्ताहिक और मासिक आवृत्ति है। लेकिन अगर आप कई हफ्तों या महीनों के लिए डेटा स्टोर करते हैं, तो Redis का प्रदर्शन बेहद कम होगा। इस समस्या को हल करने के लिए, आप समय श्रृंखला के भंडारण के वैकल्पिक तरीकों का उपयोग कर सकते हैं, उदाहरण के लिए, रेडिस-टाइमरीज़ लाइब्रेरी या कुछ इसी तरह का उपयोग करके।

विश्लेषक

विश्लेषक - यह घटक डेटा विश्लेषण के लिए जिम्मेदार है। यह रेडिस से मैट्रिक्स की एक सामान्य सूची प्राप्त करता है, और कई प्रक्रियाएं शुरू करता है, जिनमें से प्रत्येक अपने स्वयं के मैट्रिक्स को असाइन करता है। प्रत्येक प्रक्रिया कई एल्गोरिदम का उपयोग करके डेटा का विश्लेषण करती है। एक-एक करके, एल्गोरिदम मैट्रिक्स का विश्लेषण करते हैं और परिणाम की रिपोर्ट करते हैं - मीट्रिक असामान्य है या नहीं। यदि उनमें से ज्यादातर रिपोर्ट करते हैं कि मीट्रिक में वर्तमान में एक विसंगति है, तो इसे असामान्य माना जाता है। यदि केवल एक या कई एल्गोरिदम "मतदान" करते हैं, तो विसंगति की गणना नहीं की जाती है। आप सेटिंग्स में एक सीमा को निर्दिष्ट कर सकते हैं - मीट्रिक को वर्गीकृत करने से पहले काम करने वाले एल्गोरिदम की संख्या को विसंगति के रूप में वर्गीकृत किया जाना चाहिए। डिफ़ॉल्ट रूप से, यह 6 है।
वर्तमान में निम्नलिखित एल्गोरिदम लागू:

• माध्य विचलन (मतलब निरपेक्ष विचलन);
• ग्रबब्स टेस्ट
• पहले घंटे के लिए औसत (पहला घंटा औसत);
• औसत से मानक विचलन;
• चलती औसत से मानक विचलन;
• कम से कम वर्ग विधि;
• हिस्टोग्राम (हिस्टोग्राम बिन्स) पर आउटलेयर;
• कोलमोगोरोव सहमति मानदंड (के - एस परीक्षण)।

उनमें से अधिकांश नियंत्रण कार्ड और तीन सिग्मा के नियम पर आधारित हैं। आप उन रिपोर्टों से कुछ एल्गोरिदम के संचालन के सिद्धांत के बारे में जान सकते हैं जिनका वीडियो इस लेख के अंत में पोस्ट किया गया है। मैं आपको एंटोन लेबेदेविच - mabrek.imtqy.com के ब्लॉग की सामग्रियों से परिचित होने की सलाह देना चाहता हूं । वह स्काईलाइन के विकास में भी योगदान देता है।
एल्गोरिदम को नए लोगों को अनुकूलित, संशोधित, हटाया या जोड़ा जा सकता है। उन सभी को एक एल्गोरिदम फ़ाइल में एकत्र किया जाता है। अपनी गणना में, वे SciPy और NumPy पुस्तकालयों का उपयोग करते हैं। आखिरी के बारे में हैबर पर एक अच्छा लेख है।

डेटा विश्लेषण के परिणामस्वरूप, असामान्य के अलावा, निम्नलिखित स्थितियां भी सौंपी जा सकती हैं:

• बहुत कुछ : किसी निष्कर्ष को निकालने के लिए समय श्रृंखला बहुत कम है;
• अपूर्ण : सेकंड में समय श्रृंखला की लंबाई सेटिंग्स में निर्दिष्ट पूर्ण अवधि (आमतौर पर 86400 एस) से कम है;
• बासी : समय श्रृंखला लंबे समय से अपडेट नहीं की गई है (सेकंड में समय सेटिंग में सेट है);
• बोरिंग : कुछ समय के लिए समय श्रृंखला के मूल्य नहीं बदले हैं (सेटिंग्स में सेट);

सभी असामान्य मेट्रिक्स फ़ाइल में आते हैं, उस डेटा के आधार पर जिससे वेब एप्लिकेशन में चित्र बनता है।
विश्लेषक सूचनाएं भी भेज सकते हैं। वर्तमान में उपलब्ध लक्ष्य हैं: मेल, हिपचैट और पेजरडूट ।

फ्लास्क वेबप

असामान्य मेट्रिक्स प्रदर्शित करने के लिए, फ्लास्क फ्रेमवर्क का उपयोग करते हुए पायथन में लिखा गया एक छोटा वेब एप्लिकेशन उपयोग किया जाता है। यह बेहद सरल है: ऊपरी हिस्से में दो रेखांकन प्रदर्शित किए जाते हैं - पिछले एक घंटे और दिन के लिए। ग्राफ़ के नीचे सभी असामान्य मैट्रिक्स की एक सूची है। जब आप किसी एक मैट्रिक्स पर होवर करते हैं, तो ग्राफ़ पर चित्र बदल जाता है। जब क्लिक किया जाता है, तो ओकुलस विंडो खुलती है, जिस पर आगे चर्चा की जाएगी।

ओकुलस

ओकुलस विसंगतियों के सहसंबंध की खोज करने का काम करता है और स्काईलाइन के साथ मिलकर काम करता है। जब स्काईलाइन को विसंगति मिलती है और इसे अपने वेब इंटरफ़ेस में प्रदर्शित करता है, तो हम विसंगत मीट्रिक के नाम पर क्लिक कर सकते हैं और ओकुलस हमें उन सभी मीट्रिक को दिखाएगा जो मूल के साथ संबंध रखते हैं।



संक्षेप में, खोज एल्गोरिदम को निम्नानुसार वर्णित किया जा सकता है। प्रारंभ में, मूल्यों की प्रारंभिक श्रृंखला, उदाहरण के लिए, प्रपत्र की एक श्रृंखला [960, 350, 350, 432, 390, 76, 105, 715, 715] को सामान्यीकृत किया जाता है: एक अधिकतम मांगा गया है - यह 25 के अनुरूप होगा, और एक न्यूनतम - यह 0 के अनुरूप होगा; इस प्रकार, डेटा आनुपातिक रूप से 0 से 25 तक पूर्णांक की सीमा में वितरित किया जाता है। परिणामस्वरूप, हमें फॉर्म की एक श्रृंखला मिलती है [25, 8, 8, 10, 9, 0, 1, 18, 18] । फिर सामान्यीकृत श्रृंखला को 5 शब्दों का उपयोग करके एन्कोड किया गया है: sdec (तेजी से नीचे), dec (नीचे), s (वास्तव में), inc (ऊपर), sinc (शार्पली अप)। परिणाम फॉर्म की एक श्रृंखला है [sdec, flat, inc, dec, sdec, inc, sinc, flat] ।
फिर, इलास्टिक खोज का उपयोग करते हुए, सभी मीट्रिक जो मूल के समान हैं, खोज की जाती हैं। ElasticSearch में डेटा इस प्रकार संग्रहीत किया जाता है:

{ fingerprint: dec sinc dec sdec dec sdec sinc values: 13.18 12.72 14.8 14.43 12.95 12.13 6.87 9.67 id: mini.Shinken_server.shinken.CPU_Stats.cpu_all_sys } 

पहले एक फिंगरप्रिंट खोज की जाती है। परिणाम एक नमूना है, मैट्रिक्स की संख्या जिसमें कुल संख्या से कम परिमाण का एक क्रम है। इसके अलावा, विश्लेषण के लिए, हम फास्ट डायनेमिक टाइम ट्रांसफ़ॉर्मेशन (FastDTW) एल्गोरिथ्म का उपयोग करते हैं , जो मूल्यों का उपयोग करता है । FastDTW एल्गोरिथ्म के बारे में एक अच्छा लेख है।
नतीजतन, हम उन सभी मिले हुए मेट्रिक्स से डेटा प्राप्त करते हैं जो मूल के साथ संबंध रखते हैं।

रेडिस से डेटा आयात करने के लिए, रूबी में लिखी गई लिपियों का उपयोग किया जाता है। वे सभी मेट्रिक्स को उपसर्ग "मिनी" के साथ लेते हैं, उन्हें डिकोड करते हैं, सामान्य करते हैं और ElasticSearch पर निर्यात करते हैं। अद्यतन और अनुक्रमण के दौरान, ElasticSearch खोज की गति कम हो जाती है। इसलिए, लंबे समय तक परिणामों की प्रतीक्षा न करने के लिए, अलग-अलग समूहों में दो इलास्टिक खोज सर्वर का उपयोग किया जाता है, जिसके बीच ओकुलस नियमित रूप से स्विच करता है।

ग्राफ़ को खोजने और प्रदर्शित करने के लिए, एक वेब एप्लिकेशन का उपयोग किया जाता है जो सिनात्रा फ्रेमवर्क का उपयोग करता है। आप मीट्रिक के नाम से खोज सकते हैं, या बस एक विशेष क्षेत्र में एक वक्र खींचकर:

परिणामस्वरूप, हम एक पृष्ठ देखेंगे जो प्रदर्शित करता है:

• खोज मापदंडों के बारे में जानकारी;
• मूल ग्राफ़ का एन्कोडेड प्रतिनिधित्व;
• संग्रह की एक सूची (नीचे देखें) यदि डेटा पहले संग्रहीत डेटा के साथ सहसंबंधित है;
• पाया जाने वाला ग्राफ़ की एक सूची, जो आरोही सहसंबंध स्कोर (छोटे स्कोर, अधिक डेटा सहसंबंधी) द्वारा क्रमबद्ध है।

डेटा को फ़िल्टर किया जा सकता है, साथ ही एक संग्रह में समूहीकृत किया जा सकता है, उन्हें एक विवरण दें और स्मृति में संग्रहीत करें। संग्रह का उपयोग निम्नलिखित मामलों में किया जाता है। मान लीजिए कि हमने कुछ विसंगतियों का पता लगाया और इस घटना की पुष्टि करने वाले रेखांकन की एक सूची प्राप्त की। इन ग्राफ़ को सहेजना और उन्हें विस्तृत विवरण देना सुविधाजनक होगा। अब, जब भविष्य में इसी तरह की समस्या होती है, तो ओकुलस हमें इस संग्रह को ढूंढ लेगा और पहले लिखा गया वर्णन हमें पहचाने गए समस्या को खत्म करने के कारणों और तरीकों को समझने में मदद करेगा।

नीचे दिया गया चित्र काले ऑपरेशन आरेख दिखाता है:


मैं इंस्टॉलेशन और कॉन्फ़िगरेशन प्रक्रिया का वर्णन नहीं करूंगा, क्योंकि यह बहुत जटिल नहीं है और स्काईलाइन और ओकुलस प्रलेखन में इंगित किया गया है।

फिलहाल, हमने सिस्टम को टेस्ट मोड में लॉन्च किया है - सभी घटक एक वर्चुअल मशीन पर काम करते हैं। लेकिन यहां तक ​​कि एक कमजोर कॉन्फ़िगरेशन (Intel Xeon E5440, 8 Gb RAM) के साथ, समस्याओं के बिना सिस्टम वास्तविक समय में एक से अधिक दस हजार मीट्रिक का विश्लेषण करता है। ऑपरेशन में मुख्य कठिनाई विसंगतियों का पता लगाने के लिए मापदंडों को स्थापित करना है। दूसरी तरह की गलतियाँ (झूठी नकारात्मक) अभी तक उत्पन्न नहीं हुई हैं, लेकिन पहली तरह की त्रुटियों (झूठी सकारात्मक) के साथ, हम नियमित रूप से मिलते हैं और एल्गोरिदम को अपनी आवश्यकताओं के साथ समायोजित करने का प्रयास करते हैं। मुख्य समस्या डेटा की मौसमी है। एक होल्ट-विंटर्स विधि है जो सीज़नसिटी को ध्यान में रखती है, लेकिन इसके कई नुकसान हैं:

• केवल एक सीज़न को ध्यान में रखा जाता है (वास्तविक आंकड़ों में एक से अधिक मौसम हो सकते हैं - घंटे, दिन, सप्ताह, वर्ष);
• कई मौसमों में अधिक डेटा की आवश्यकता होती है (इसलिए, यह विधि स्काईलाइन में लागू नहीं है - रेडिस डेटाबेस में पंक्तियों का आकार बहुत बड़ा होगा);
• एक विसंगति के मामले में, इसे भविष्य के मौसम में क्रमिक क्षीणन के साथ ध्यान में रखा जाएगा;

इसलिए, विसंगतियों का पता लगाने के लिए एल्गोरिदम विकसित करने का प्रश्न, विशेष रूप से, मौसमी डेटा को ध्यान में रखते हुए, खुला रहता है।

संदर्भ

github.com/etsy/skyline
github.com/etsy/skyline/wiki
https://groups.google.com/forum/#!forum/skyline-dev
github.com/etsy/oculus
mabrek.imtqy.com

वीडियो

वीडियो में अबे स्टैनवे, डेवलपर केल की प्रस्तुति है।


जॉन कोनी और अबे स्टैनवे द्वारा वेग सम्मेलन में रिपोर्ट, जिसमें वे अपने दिमाग की उपज के बारे में बात करते हैं -


भाषण का दूसरा भाग।


एंटोन लेबेदेविच की रिपोर्ट "लोड परीक्षण और उत्पादन में विसंगतियों की खोज के लिए व्यवहार में सांख्यिकी"