यैंडेक्स में कार्यात्मक निगरानी

क्या आप उत्पादन में अपनी सेवाओं की निगरानी करते हैं? जिम्मेदारी किसके पास है?

अक्सर, जब मॉनिटरिंग की बात आती है, तो सर्वर डेवलपर्स, सिस्टम एडमिनिस्ट्रेटर और डीबीए के दिमाग में आता है कि किसे डाटा प्रोसेसिंग क्यू, फ्री डिस्क स्पेस की उपलब्धता, अलग-अलग होस्ट की व्यवहार्यता और लोड की निगरानी करनी चाहिए।
इस तरह की निगरानी वास्तव में सेवा के बारे में बहुत सारी जानकारी देती है, लेकिन यह हमेशा यह नहीं दिखाती है कि सेवा वास्तविक उपयोगकर्ता के लिए कैसे काम करती है। इसलिए, सिस्टम मॉनिटरिंग के अलावा, हमने यैंडेक्स में कार्यात्मक निगरानी की एक प्रणाली बनाई जो अंत इंटरफेस के माध्यम से सेवा की स्थिति की निगरानी करती है - यह कि आवेदन ब्राउज़र में कैसे दिखता है और कैसे काम करता है, और यह एपीआई स्तर पर कैसे काम करता है।
हमारी समझ में कार्यात्मक निगरानी क्या है? इसे बेहतर ढंग से समझने के लिए, आइए देखें कि सब कुछ कैसे विकसित हुआ।

यह सब, निश्चित रूप से, प्रतिगमन परीक्षण के लिए ऑटोटेस्ट के साथ शुरू हुआ। युद्ध स्थितियों में सेवा के प्रदर्शन का परीक्षण करने के लिए इन ऑटोटेस्ट को उत्पादन के रिलीज के बाद भी लॉन्च किया गया था। तथ्य यह है कि उत्पादन में शुरू किए गए प्रतिगमन परीक्षण कभी-कभी बग को खोजते हैं जो हमें लगता है।

यह क्या है और क्यों है

प्रतिगमन परीक्षण के लिए लिखे गए कार्यात्मक परीक्षण और उत्पादन समस्याओं को खोजने में परीक्षण में सफलतापूर्वक पूरा क्यों किया जाता है?
हमने कई कारणों की पहचान की है:

• परीक्षण पर्यावरण विन्यास और उत्पादन के बीच अंतर।
• आंतरिक या बाहरी डेटा प्रदाताओं के साथ समस्या।
• आयरन की कार्यक्षमता को प्रभावित करता है।
• समय और / या एक विशिष्ट लोड के तहत होने वाली समस्याएं।

यदि ऐसे परीक्षण समस्याओं का पता लगा सकते हैं, तो हमने फैसला किया कि हमें उन्हें नियमित रूप से उत्पादन में चलाने और सेवाओं की स्थिति की निगरानी करने का प्रयास करना चाहिए।
आइए उन समस्याओं और कार्यों पर एक नज़र डालें जो कार्यात्मक निगरानी से हल करने में मदद कर सकते हैं।

डेटा प्रदाता

डेटा प्रदाता निर्भर पृष्ठ का एक अच्छा उदाहरण यांडेक्स होमपेज है।
मौसम और समाचार, पोस्टर और टीवी कार्यक्रम, यहां तक ​​कि एक दिन की एक तस्वीर एक खोज के साथ बाहरी और आंतरिक आपूर्तिकर्ताओं से डेटा है।
उदाहरण के लिए, आर्कान्जेस्कक में पोस्टर ब्लॉक एक बार इस तरह दिखता था:

जबकि मरमंस्क में सब कुछ क्रम में था


ऐसा इसलिए हुआ क्योंकि आपूर्तिकर्ता ने आर्कान्जेस्क के लिए डेटा नहीं भेजा (या हमारी तरफ आयात अपडेट नहीं हुआ)। कभी-कभी यह समस्या प्रकृति में एक बार होती है, और कुछ मामलों में KPI को उपलब्ध आंकड़ों और उनके नएपन के प्रतिशत से तैयार किया जा सकता है।

आयरन की समस्या

हमारी सेवाओं के काम में एक महत्वपूर्ण भूमिका उनकी गलती सहिष्णुता और प्रदर्शन है। इसलिए, टीमें एक वितरित वास्तुकला और लोड संतुलन तंत्र के साथ सेवाएं बनाती हैं। एक नियम के रूप में, व्यक्तिगत "ग्रंथियों" की विफलता, उपयोगकर्ताओं को प्रभावित नहीं करती है, लेकिन डेटा केंद्रों के साथ बड़े पैमाने पर समस्याएं या उनके बीच की रूटिंग अंत इंटरफेस में ध्यान देने योग्य हैं।
कार्यात्मक निगरानी, ​​जो इस कार्य में सिस्टम मॉनिटरिंग को पूरक करती है, हार्डवेयर समस्याओं और कार्यक्षमता के बीच संबंध को ट्रैक करने की अनुमति देती है।
उदाहरण के लिए, Yandex.Direct में एक ऐसा मामला था जब धीरे-धीरे "मरने" वाले सर्वर ने सेवा के क्रमिक गिरावट का कारण बना, और कुछ क्षेत्रों से इसकी दुर्गमता। इस मामले में कार्यात्मक निगरानी एक आपातकालीन जांच के लिए एक ट्रिगर के रूप में और समस्या की जड़ की पहचान करने के लिए कार्य करती है।
एक और दिलचस्प उदाहरण हमारी कंपनी में आयोजित अभ्यास है। अभ्यास के दौरान, डेटा केंद्रों में से एक को यह सुनिश्चित करने के लिए जानबूझकर डिस्कनेक्ट किया जाता है कि इससे सेवाओं की सेवाक्षमता प्रभावित नहीं होती है और समय में संभावित समस्याओं की पहचान होती है। एक डेटा सेंटर को अक्षम करने से सेवाओं को नुकसान नहीं होता है, और कार्यात्मक निगरानी भी ऐसे आउटेज के दौरान स्थिति की निगरानी करने में मदद करती है।

समय के साथ सेवा में गिरावट

उत्पादन में एप्लिकेशन की वास्तविक परिचालन स्थितियां कभी-कभी अप्रत्याशित स्थिति पैदा करती हैं। समस्याओं का कारण वॉल्यूम, अवधि और लोड के प्रकार का अप्रत्याशित संयोजन हो सकता है, या, उदाहरण के लिए, सिस्टम त्रुटियों का संचय जो परीक्षण चरण में पता नहीं लगाया गया था। इसका कारण इंफ्रास्ट्रक्चर के कॉन्फ़िगरेशन में त्रुटियां भी हो सकती हैं, जिससे सिस्टम की मंदी या इसकी विफलता हो सकती है।
यदि परीक्षण चरण में ऐसी समस्याओं की पहचान नहीं की जा सकती है, तो उत्पादन में होने पर उन्हें जल्दी से पहचानना आवश्यक है। और यहाँ, सिस्टम और कार्यात्मक निगरानी, ​​एक दूसरे के पूरक हो सकते हैं, समस्याओं को खोज सकते हैं और उन्हें रिपोर्ट कर सकते हैं।

इसलिए, कार्यात्मक निगरानी एक विशिष्ट आत्म-परीक्षण है, विशिष्ट समस्याओं की खोज और उत्पादन में लगातार लॉन्च करने के लिए "तेज"।

अंदर क्या है

कार्यात्मक निगरानी का एक दूसरा घटक है - परिणामों के प्रवाह को कैसे संसाधित किया जाता है।
उत्पादन में लगातार परीक्षण से आने वाले परिणामों के एक बड़े प्रवाह को सुव्यवस्थित और फ़िल्टर करने की आवश्यकता है। समस्याओं को समय पर ढंग से रिपोर्ट करना आवश्यक है और साथ ही झूठी सकारात्मकता को कम करना है। समस्या सेवा की सेवाक्षमता के मूल्यांकन के लिए एक सामान्य प्रणाली में कार्यात्मक निगरानी से जानकारी को एकीकृत करने की भी उत्पन्न होती है।

झूठी सकारात्मकता को रोकने के लिए, अपाचे ऊंट ढांचे के आधार पर लागू की गई हमारी प्रणाली, आपको एक परीक्षा से कई अनुक्रमिक परिणामों को एक घटना में एकत्र करने की अनुमति देती है। उदाहरण के लिए, आप 5 में से 3 फ़िल्टरिंग को कॉन्फ़िगर कर सकते हैं, जो केवल एक ब्रेकडाउन की सूचना देगा यदि परीक्षण 5 लगातार शुरू होने में 3 बार त्रुटि देता है (इसी तरह, आप सेट कर सकते हैं, उदाहरण के लिए, 2 में से 2 को फ़िल्टर करना या फ़िल्टरिंग को हटा दें - 1 में से 1 को हटा दें)। यह भी महत्वपूर्ण है कि परीक्षण कितनी बार चलाया जाता है, ताकि इस तरह के फ़िल्टरिंग के साथ देरी स्वीकार्य हो।

अलग-अलग परियोजनाओं पर, इन मॉनिटरिंग के उपभोक्ता अलग-अलग होते हैं: कहीं न कहीं, मॉनिटरिंग परिणाम परीक्षकों के लिए बंद होते हैं, प्रबंधकों को व्यक्तिगत निगरानी के बारे में जानने में रुचि होती है, कहीं न कहीं, परिणाम एक सामान्य प्रणाली में एकीकृत होते हैं।

विधि

कार्यात्मक निगरानी का विचार बहुत सरल है, और ऐसी निगरानी बहुत प्रभावी हो सकती है।
बनाने की विधि:
1. विश्लेषण करें कि उत्पादन में आपकी सेवा के कौन से हिस्से टूट सकते हैं और क्यों।
2. इस कार्यक्षमता के लिए मौजूदा ऑटोटेस्ट्स को लिखें (या चुनें)।
3. उत्पादन में इन परीक्षणों को जितनी बार आपको आवश्यकता हो उतनी बार चलाएं और जैसा कि परीक्षण रन सिस्टम अनुमति देता है।
4. परिणामों को संसाधित करें और ब्रेकडाउन की सूचना दें, सेवा के जीवन के बारे में जानकारी के अन्य स्रोतों के साथ तुलना करें।

पुनश्च: लंबे समय से हम सोच रहे हैं कि कार्यात्मक निगरानी का विचार कितना व्यापक है और इसे अन्य कंपनियों में कैसे लागू किया जाता है। कोई इस तरह के दृष्टिकोण की बात करता है, बेशक, कोई, जो सीख रहा है, इसे खुद के लिए लागू करने का फैसला करता है, और कोई इस तरह की निगरानी को सिस्टम निगरानी की उपस्थिति में अनावश्यक मानता है।
और आप उत्पादन में अपनी सेवाओं की स्थिति को कैसे ट्रैक करते हैं, आप किस उपकरण और उनके संयोजन का उपयोग करते हैं?