सिस्को वीएसएस: डर और काम पर घृणा

मैंने इस पोस्ट को एक आक्रोश और घबराहट के फिट में लिखा है कि कैसे इस सेगमेंट में एक विश्व नेता के नेटवर्क उपकरण उत्पादन प्रक्रियाओं और हमारे - नेटवर्क प्रवेशों के जीवन को बहुत और अप्रत्याशित रूप से बर्बाद कर सकते हैं।
मैं एक सरकारी संगठन में काम करता हूं। हमारे नेटवर्क इन्फ्रास्ट्रक्चर का मूल एक VSS जोड़ी है जो दो सिस्को उत्प्रेरक 6509E स्विचेस से इकठ्ठा होता है, जो वीओएस-एस720-10 जी -3 सी सुपरवाइज़रों के साथ चलता है, जिसमें आईओएस संस्करण 12.2-33.SXI6 (s72033-adventerprisek_wan-mz.122-33.SXI6.bin) है। बोर्ड। हमारा नेटवर्क इन्फ्रास्ट्रक्चर पूरी तरह से उत्पादन है और लगभग 24 * 7 * 365 उपलब्ध होना चाहिए। किसी भी निवारक कार्य, प्रदान की गई सेवाओं के मामूली बंद को शामिल करते हुए, हमें अग्रिम में समन्वय करना चाहिए और रात में प्रदर्शन करना चाहिए। ज्यादातर अक्सर ये त्रैमासिक रात के प्रोफिलैक्सिस होते हैं। मैं इनमें से एक निवारक उपाय के बारे में बात करना चाहता हूं। और मैं ईमानदारी से नहीं चाहता कि मेरी कहानी आपके साथ दोहराए।


तुरंत मैं जोड़ी के वीएसएस स्विच में से एक की भराई को नामित करूंगा (दूसरे स्विच की स्टफिंग समान है):



इस प्रोफीलैक्सिस के लिए एक पूरी तरह से नियमित ऑपरेशन की योजना बनाई गई थी। हमें 2 बजे से 8 बजे तक एक खिड़की आवंटित की गई थी। इसका मतलब है कि सुबह 8 बजे सब कुछ तड़पना चाहिए ! काम करना। मैं उस रोमांटिक रात की घटनाओं का कालक्रम दूंगा:

1. सिस्को उत्प्रेरक 6509E वीएसएस जोड़ी पर जंबो फ्रेम समर्थन को सक्षम करना। सभी आदेश आधिकारिक सिस्को मैनुअल से लिए गए हैं:



# टी
# सिस्टम जुंबोमटू
# आरए मेम


CISCO वेबसाइट का कहना है कि कुछ लाइन कार्ड जंबो फ्रेम का समर्थन नहीं करते हैं, या सीमित पैकेट आकार का समर्थन करते हैं:



मेरे लाइन कार्ड इस सूची में नहीं हैं। बहुत बढ़िया।

2. इसके अलावा वीएसएस में देख रहे कई और स्टैक (उत्प्रेरक 3750E, 3750X) पर जंबो फ्रेम के लिए समर्थन शामिल था। लेकिन यह, मेरी राय में, नीचे वर्णित स्थिति के साथ बहुत कम है।

इस स्तर पर, सब कुछ सामान्य था। उड़ान सामान्य है। हम और आगे जा रहे हैं।

3. आगे, योजना के अनुसार, वैक्यूम क्लीनर विधि द्वारा धूल से उत्प्रेरक 6509E स्विच की एक निर्धारित सफाई थी। हम इस ऑपरेशन को नियमित रूप से (एक बार एक चौथाई) करते हैं और हमें कुछ भी अप्राकृतिक होने की उम्मीद नहीं थी। हमने एक स्विच के साथ शुरू करने का फैसला किया, जो उस समय एक सक्रिय वर्चुअल स्विच सदस्य की भूमिका में था, एक ही समय में स्विचओवर के सही कार्यान्वयन को सत्यापित करने के लिए। मैं इसे कम्यूटेटर (1) कहूंगा। तो, स्विच (1) बंद है। स्विचओवर सही ढंग से हुआ - दूसरे स्विच (2) ने बताया कि यह अब सक्रिय हो गया है। केवल एक पैकेट प्रति पिंग खो गया था। इसके बाद, फैन ट्रे और दोनों बिजली की आपूर्ति को हटा दिया गया और वैक्यूम किया गया। पीछे धकेल दिया। इस स्तर पर, निगरानी ने बताया कि नेटवर्क ठीक से काम कर रहा है - सभी ग्रंथियां उपलब्ध हैं। महान, मैंने सोचा, स्विच (1) को चालू कर दिया और क्योंकि इंतजार करने के लिए कंप्यूटर पर गया था डाउनलोड 6509 में लगभग 7-8 मिनट लगते हैं। 10-15-20 मिनट बीत जाते हैं, और सुपरवाइजर की सभी लाइटें लाल हो जाती हैं, लाइन कार्ड बंद हो जाते हैं और दूसरा सक्रिय स्विच (2) अभी भी पहली (# स्वो स्वाइ वायर लाल) नहीं देखता है। स्विच बंद कर दिया (1)। फिर से चालू किया। फिर से, लगभग 20 मिनट बीत जाते हैं - स्थिति खुद को दोहराती है। इस समय, मेरे पास पास नहीं था एक कंसोल केबल के साथ जो देखने के लिए कि क्या हो रहा था। नेटवर्क अभी भी "एक पंख पर उड़ रहा है" - स्विच (2)।
यहां, सही निर्णय एक लैपटॉप लेने, स्विच (1) के कंसोल से कनेक्ट करने और वहां क्या होता है? लेकिन, नोड्स के संघर्ष के बारे में सोचते हुए, मैंने दूसरा स्विच बंद करने का फैसला किया, लैपटॉप को पहले के कंसोल से कनेक्ट किया और इसे अकेले चालू करने का प्रयास किया। कंसोल में, मैंने निम्नलिखित देखा - स्विच (1) रोममन में गिर गया। एक भी गलती के बिना। बस रोम-रोम। एक बार फिर से बंद कर दिया - चालू - तुरंत रोमाँ और वह है। और सुबह 7 बजे और 2 घंटे से भी कम समय के बाद, एक कार्य दिवस शुरू होता है। स्थिति गर्म होती जा रही है। मैंने तय किया कि रोमियो से iOS डाउनलोड करने की कोशिश करना और प्रयोग करना उचित नहीं था। स्विच बंद कर दिया (1)। और उसने दूसरे स्विच को चालू करने के लिए खुद को सोचते हुए सेट किया - ठीक है, ठीक है, जिस दिन हम एक विंग पर उड़ान भरेंगे, और अगली रात मैं समस्या से निपटूंगा। मैं कंसोल में फंस गया, इसे चालू किया और ... कंसोल में कुछ गलत हो गया, मैं देखता हूं कि कैसे एक पूर्ण के बाद, यह सही बूट लग रहा था, स्विच फ्रैंटिक रूप से बदले में सभी बंदरगाहों को बंद करना शुरू कर देता है और रिबूट में जाता है। यह 3 बार दोहराया गया था। और केवल तीसरी बार से उसने आधे में भरी हुई और क्रेडेंशियल्स दर्ज करने की पेशकश की। लॉग इन किया। नेटवर्क काम करने लगता है। एग्ज़ॉल्टेड। लेकिन यह वहां नहीं था - दुश्मनों ने निगरानी में कई एक्सेस स्विच पर हमला किया , फिर वे उपलब्ध हो गए, फिर वे नीचे चले गए। कुछ सर्वर भी ब्लिंक हो गए। विभिन्न VLAN के विभिन्न संसाधन आंशिक रूप से उपलब्ध नहीं थे। DNS ने पड़ोसी नेटवर्क में सही तरीके से काम करना बंद कर दिया है। मुझे समझ नहीं आया कि क्या हो रहा है। पैटर्न का पता नहीं लगाया गया था। घड़ी पर समय 8 बजे के करीब पहुंच रहा है। मैं लॉग पढ़ने के लिए बैठ गया, और वहाँ सौंदर्य है, रूप की बार-बार की त्रुटियों की लपट

% DIAG-SW2_SP-3-MAJOR: स्विच 2 मॉड्यूल 5: ऑनलाइन डायग्नोस्टिक्स ने एक बड़ी त्रुटि का पता लगाया। परीक्षा परिणाम देखने के लिए कृपया 'डायग्नोस्टिक परिणाम दिखाएं' का उपयोग करें।
% DIAG-SW2_SP-3-MINOR: स्विच 2 मॉड्यूल 2: ऑनलाइन डायग्नोस्टिक्स ने एक मामूली त्रुटि का पता लगाया। परीक्षा परिणाम देखने के लिए कृपया 'डायग्नोस्टिक परिणाम दिखाएं' का उपयोग करें।

यहां, मॉड्यूल 5 SUP-720-10G-3C पर्यवेक्षक है, और मॉड्यूल 2 WS-X6724-SFP लाइन कार्ड है।

कंपनी के साथ जिसके पास सेवा के लिए सेवा अनुबंध है, हमने सभी लॉग भेजे, साथ ही तकनीक-समर्थन और शो डायग्नोस्टिक भी दिखाए । बदले में, उन्होंने सिस्को टीएसी में मामला खोला। और 3 घंटे के बाद, सिस्को टीएसी से एक प्रतिक्रिया आई कि दोनों (!!!) पर्यवेक्षक और लाइन कार्ड _appartially_ दोषपूर्ण हैं और उन्हें प्रतिस्थापित किया जाना चाहिए। बिंगो! लॉग का विश्लेषण करने के बाद, सिस्को टीएसी इंजीनियरों ने बताया कि पर्यवेक्षक रिबूट से पहले ही दोषपूर्ण थे। और खराबी के कारण रिबूट के दौरान, वे स्वयं परीक्षण पारित नहीं कर सके और सही संचालन फिर से शुरू कर सके। हमें अपने सवाल का जवाब नहीं दिया गया था कि हम पहले पर्यवेक्षकों की खराबी के बारे में कैसे पता लगा सकते थे और तदनुसार, यह जानते हुए भी, उन्हें पुनः आरंभ नहीं किया।

यहां आपको दोष सहिष्णुता है जब लोहे के 2 टुकड़ों की कीमत $ 42,000 प्रत्येक (शरद ऋतु सिस्को जीपीएल से कीमत) उसी समय मर जाती है जब चेसिस को फिर से शुरू किया जाता है। और यह, मृत लाइन कार्ड की गिनती नहीं।

एक इंजीनियर एक विकल्प सूप और एक लाइन कार्ड के साथ एक (क्योंकि उस पल में उनके पास और कोई उपलब्ध नहीं था) हमारे साथ आया था।
इस बीच, स्थिति का विश्लेषण करने के बाद, हमने महसूस किया कि जो ग्राहक नेटवर्क की समस्याओं का सामना कर रहे हैं, वे इस लाइन कार्ड में फंस गए हैं। ग्राहकों को अन्य बंदरगाहों पर स्थानांतरित कर दिया गया। कार्यदिवस के अंत तक किसी तरह उड़ान भरी। कार्य दिवस की समाप्ति के बाद, फ्लैश ड्राइव का उपयोग करके config, vlan.dat और IOS 12.2 (33) SXJ6 के नए संस्करण को नए प्रतिस्थापन SUP-720-10G-3XL में अपलोड किया गया। और चेसिस (1) के साथ शुरू करने का फैसला किया गया था - वह जो वर्तमान में बंद कर दिया गया था। हमने सूप को बदल दिया, चेसिस में लाए गए सभी ट्रांससीवर्स (बस मामले में) को बाहर निकाला - कोई त्रुटि नहीं है। उसके बाद, उन्होंने काम करने वाले चेसिस (2) को बुझा दिया और चेसिस (1) में ट्रांससीवर्स डाल दिया - अस्थायी रूप से दी गई SUP-720-10G-3CXL के साथ नेटवर्क एक निश्चित विंग पर जीवन में आया।

कृपया ध्यान दें कि VSS दो अलग-अलग सूपों के बीच शुरू नहीं होता है: SUP-720-10G-3CXL और SUP-720-10G-3C शपथ ग्रहण:
02:16:21 MSK:% PFREDUN-SW1_SP-4-PFC_MISMATCH: सक्रिय PFC PFC3CXL और अन्य PFC PFC3C है

इसलिए, यह एक अस्थायी समाधान था - एक बैसाखी जब तक दो समान SUP-720-10G-3C हमारे पास नहीं लाए गए।
चूँकि उत्पादन नेटवर्क को लंबे समय तक "वन विंग" पर छोड़ना बिल्कुल भी एक विकल्प नहीं है, निकट भविष्य में एक और रात की खिड़की को चेसिस (2) में सूप और लाइन कार्ड को बदलने के लिए सहमति दी गई थी। इस बिंदु पर, 2 नए SUP-720-10G-3C और एक WS-X6708-10GE लाइन कार्ड साइट पर लाए गए थे। पुराने परिदृश्य के अनुसार, फर्मवेयर, vlan.dat और पहले से चल रहे चेसिस के एक नए कॉन्फ़िगरेशन को नए सूप (1) पर अपलोड किया गया था। हवाई जहाज़ के पहिये (2) से सभी transceivers पाप से दूर काट दिया गया। हमने सुनिश्चित किया कि नए हार्डवेयर पर चेसिस (2) त्रुटियों के बिना भरी हुई है, बंद हो गई। वीएसएल लिंक को कमिट किया, चालू किया। उड़ान सामान्य है। वीएसएस इकट्ठा हो गया है। अटक ट्रांससीवर्स और नेटवर्क दोनों पंखों पर चंगा। आनन्द कोई सीमा नहीं जानता था। हुर्रे! यह बुरा सपना आखिरकार खत्म हो गया है।
लेकिन खुशी ज्यादा समय तक नहीं रही। इन कार्यों के कुछ दिनों बाद, कार्य दिवस की ऊंचाई पर, सूप के बीच वीएसएल लिंक अचानक बाहर निकल जाता है। अरे ये क्या? नए उपकरणों पर? सौभाग्य से, कोर के लाइन कार्ड के बीच दूसरा वीएसएल लिंक (चेसिस के बीच कुल वीएसएल लिंक के लिए दो बंदरगाहों का एक पोर्ट-चैनल एलएसीपी) कोर के लाइन कार्ड के बीच और दोहरी सक्रिय जांच ने हमें पास किया। 10Gbase-LRM ट्रांसीवर्स की जगह और आसन्न स्लॉट्स की अदला-बदली करके, यह पता चला कि पर्यवेक्षक चेसिस (1) में स्लॉट मर गया - AHTUNG!
लॉग में:



इसके अलावा, सिस्को TAC में एक मामला खोलने की प्रक्रिया और CISCO इंजीनियर की बाद की प्रतिक्रिया:



जिन लोगों को अंग्रेजी में कठिनाई होती है, मैं उनके उत्तर का संक्षेप में वर्णन करूंगा। सिस्को टीएसी इंजीनियर नैदानिक ​​बूटअप स्तर को पूरा करने, चेसिस में पर्यवेक्षक को "फाड़" और घटनाओं के विकास का अवलोकन करने का सुझाव देता है। यदि यह पर्यवेक्षक मॉड्यूल पर दोषपूर्ण फैब्रिक चैनल या लाइन कार्ड (पर्यवेक्षक या लाइन कार्ड पर दोषपूर्ण स्विचिंग फ़ैक्टरी चैनल के साथ) के कारण है, तो समस्या काफी कम समय बाद दिखाई देगी। यदि समस्या 48 घंटों के बाद प्रकट नहीं होती है, तो यह माना जा सकता है "... जिसे एक समय कहा जाता है" डिस्पोजेबल।
अब हम इन कार्यों को करने के लिए अगली विंडो का समन्वय कर रहे हैं। मैं यहां परिणामों पर एक अपडेट लिखूंगा।

मुझे उम्मीद है कि यह आलेख किसी को मुश्किल स्थिति में मदद करेगा या इसके खिलाफ चेतावनी देगा। मैं टिप्पणियों में खुशी के साथ सभी सवालों के जवाब दूंगा।
हमारे सभी मजबूत तंत्रिका पर्यवेक्षकों , कभी-कभी लुभावनी, पेशे :)

UPD: कल रात एक सक्रिय चेसिस से एक सूप निकाला गया था (एक सिस्को टीएसी इंजीनियर की उपरोक्त सिफारिश के अनुसार), एक पिंग खो गया था, दूसरा चेसिस सक्रिय हो गया। सूप को वापस रख दें। हमने 10Gbase-LRM के लिए कथित रूप से दोषपूर्ण स्लॉट की जाँच की - यह काम करता है। हम और आगे बढ़ते हैं।