"गिरावट" के बाद गुणात्मक टेक-ऑफ। या क्यों "रखना" बहुत सारे

23 अगस्त 2012 को, 02:00 से 16:30 तक, MnogoByte नेटवर्क का हिस्सा ठीक से काम नहीं करता था, जिसके कारण कंपनी के लगभग एक तिहाई ग्राहकों को संचार का आंशिक या पूर्ण नुकसान हुआ। गर्म पीछा में अफवाहों को तुरंत दूर करने के लिए, हमने इस बारे में बात करने का फैसला किया कि क्या था और क्या किया गया था ताकि फिर से ऐसा न हो।


मैं दूर से शुरू करूँगा। लगभग एक साल पहले, पूरे मन्नोगोबाइट नेटवर्क पर यातायात का तेजी से विकास शुरू हुआ। यह बैंडविड्थ और यातायात, और रूस में अच्छी कनेक्टिविटी, और हमारे डेटा केंद्रों में होस्ट किए गए क्लाइंट उपकरणों की संख्या में समग्र वृद्धि के लिए पर्याप्त टैरिफ द्वारा सुविधाजनक बनाया गया था। बढ़े हुए ट्रैफ़िक के परिणामस्वरूप, सिस्को उत्प्रेरक 6500 और 7600 श्रृंखला स्विच और राउटर जो हमने 2007 और 2008 में स्थापित किए, आगे की वृद्धि के लिए अपर्याप्त हो गए। सब कुछ बेहद सरल है: 2x20 Gbit / s प्रति स्लॉट और केवल 4 पूर्ण गति बंदरगाह प्रति स्लॉट सीमा है। इसलिए, 2012 की शुरुआत में, हमने जुनिपर रूटर्स को नेटवर्क कोर और एक सामान्य नेटवर्क अपग्रेड को स्थानांतरित करने की योजना बनाई, ताकि हमारे "रिंग" को एमएमटीएस -9, एमएमटीएस -10 और डेटा केंद्रों पर कनेक्ट किया जा सके, ताकि ग्राहकों को 10 जीबीपीएस पर कनेक्टिविटी प्रदान की जा सके। सेकंड और तदनुसार, ट्रैफ़िक बाहरी दुनिया के लिए समान गति से गुजर रहा है।


जुनिपर MX960 3 डी

आवश्यक उपकरण (DWDM-मल्टीप्लेक्सर्स, DWDM-SFP +, 10Gbit / s स्विच, जुनिपर राउटर) प्राप्त कर हमने "रिंग" को नए उपकरणों में स्थानांतरित कर दिया। इसलिए 5 जुलाई, 2012 को हमने अपनी साइट पर राउटर को एमएमटीएस -9 के साथ सफलतापूर्वक बदल दिया और लगभग किसी भी डेटा सेंटर के ग्राहकों ने इस पर ध्यान नहीं दिया। हालांकि काम कठिन था - केंद्रीय राउटर, फिर भी!

23 अगस्त 2012 को, हमने एक और प्रतिस्थापन राउटर की योजना बनाई। अब यह कार्य बहुत अधिक जटिल था: एक दर्जन से अधिक एक्सेस स्विच और लगभग 130 क्लाइंट कनेक्शन जो राउटर में सीधे शामिल थे, उन्हें स्विच करना पड़ा। हमने काम के लिए पूरी तरह से तैयार किया: हमारी अंगूठी में एक अलग स्विच शामिल किया गया, जहां ग्राहकों ने कई चरणों में स्विच किया। इन ग्राहकों को एक अन्य राउटर द्वारा भी रूट किया गया था। 23 अगस्त की रात को, हमने एक्सेस-स्विच को उसी "रिंग के टुकड़े" पर स्विच करने और ग्राहकों को अन्य राउटरों में ले जाने की योजना बनाई। कुल ग्राहक डाउनटाइम एक घंटे से कम होगा। और 130 प्रत्यक्ष कनेक्शन कहीं नहीं पाए जाते हैं - उन्हें नए जुनिपर के शामिल होने का इंतजार करना होगा। पाठक के लिए, मैं यह भी ध्यान देता हूं कि १३० कनेक्शन न केवल १ Gbit / s, बल्कि १० Gbit / s पोर्ट भी हैं।


जुनिपर EX8216

योजना के अनुसार, 02:00 बजे, हमने क्लाइंट राउटर को दूसरे राउटर में स्थानांतरित करके और एक्सेस स्विच स्विच करके काम शुरू किया। हालांकि, कनेक्शन स्थानांतरित होने और सिस्को उत्प्रेरक राउटर को हटाने के बाद, बैकअप स्विच के साथ अजीब समस्याएं शुरू हुईं: यह मेमोरी पर कम हो गया और सीपीयू समय-समय पर भारी लोड हुआ। हमने समस्या को हल करने की कोशिश की, लेकिन यह केवल आंशिक रूप से ही हुई। नतीजतन, नेटवर्क तक पहुंच के बिना एक्सेस स्विच का हिस्सा बना रहा। हम सब कुछ वापस नहीं कर सकते थे। हम समस्या का अध्ययन करना जारी रखते हैं, क्योंकि उसी कॉन्फ़िगरेशन में समान स्विच इससे पहले बिना किसी समस्या के लगभग 15 Gbit / s ट्रैफ़िक से गुज़रा और रुका भी नहीं।

एक्सेस स्विच की समस्याओं के कारण, हमारी साइट, साथ ही टेलीफोनी, अस्थायी रूप से अक्षम हो गए थे। ग्राहकों की शिकायतों का यही कारण है कि वे हम तक नहीं पहुंच सके। लेकिन बहुत जल्द समस्या हल हो गई और इसने काम किया।

नए जुनिपर को निर्धारित समय पर लॉन्च किया गया था। एक्सेस स्विच और उपयोगकर्ता कनेक्शन की अदला-बदली शुरू हो गई है। कनेक्शन के साथ, नई समस्याएं पैदा हुईं जिनका अध्ययन भी हमारे द्वारा किया जा रहा है। उदाहरण के लिए, एक "लूप" का गठन किया गया था, जो तुरंत पकड़ा नहीं गया था। पाश को पकड़ने में अतिरिक्त समय लगा। लूप ने हमारे अन्य डेटा केंद्रों में ग्राहकों के एक हिस्से को झुका दिया है।

एक्सेस स्विच के कनेक्शन के दौरान, यह भी पता चला कि सिस्को कैटेलिस्ट वास्तव में जुनिपर उपकरण के साथ दोस्त नहीं बनना चाहता था और प्रत्येक स्विच के पास टैम्बोरिन कंसोल के साथ कूदना पड़ता था। और इसे फिर से कॉन्फ़िगर करें। 11:00 बजे तक, नियोजित समय से 5 घंटे की देरी के साथ, डेटा सेंटर के अधिकांश ग्राहक काम कर रहे थे और उन्हें कोई समस्या नहीं थी।

लेकिन यह उस दिन की समस्याओं का अंत नहीं था। निर्माताओं जुनिपर नेटवर्क, एक्सट्रीम नेटवर्क और सिस्को सिस्टम्स के अलग-अलग वर्ल्डवाइड प्रतीत होता है कि पूरी तरह से मानकीकृत प्रोटोकॉल एसटीपी और एमपीएलएस कुछ ग्राहकों को असंबद्ध छोड़ गए हैं। बड़े आकार के पैकेटों के पारित होने के साथ गड़बड़ 16:30 तक हमारे द्वारा पकड़ा गया था। 16:30 पर, डेटा सेंटर के स्विच तक पहुँचने के लिए केवल 100 से कम कनेक्शन ही पीड़ित थे। हमारे एक्सेस स्विच से जुड़े कुछ क्लाइंट स्विच भी गलत तरीके से कॉन्फ़िगर किए गए थे और हमारे नेटवर्क को प्रभावित करते थे। ग्राहकों के साथ बातचीत को स्पष्ट करने के बाद, अपने उपकरणों को फिर से संगठित करने और इन बंदरगाहों पर कई अलग-अलग फ़िल्टर स्थापित करने के बाद, समस्या का समाधान हो गया और लगभग 18:30 के आसपास अंतिम प्रभावित ग्राहकों को समस्याओं के बिना नेटवर्क तक पहुंच प्राप्त हुई।

आगे क्या है

सभी प्रभावित ग्राहकों को मुआवजा और सुखद बोनस मिलेगा - इसमें कोई संदेह नहीं है। जैसा कि मैंने कहा, ManyByte नेटवर्क पर ट्रैफ़िक बढ़ रहा है। परिणामस्वरूप आधुनिकीकरण हमें अपने मौजूदा और नए ग्राहकों की जरूरतों को पूरा करने के लिए जारी रखने की अनुमति देगा। वैसे, हम मॉस्को के कुछ डेटा सेंटरों में से एक हैं जो क्लाइंट सर्वर के लिए 10 Gbit / s की गति से कनेक्टिविटी प्रदान करते हैं। यह नए स्वादिष्ट टैरिफ और अधिक लचीली टैरिफ नीति की प्रतीक्षा करने लायक है। जैसा कि वे कहते हैं, कोई चांदी का अस्तर नहीं है!

हमारे सभी ग्राहकों के लिए धन्यवाद जो वर्षों से हमारे साथ रहे हैं और हमारे और उनके लिए इस कठिन दिन पर धैर्य दिखाया है!