आईटी में मर्फी के नियम

बहुत समय पहले मुझे एक डेवलपर के साथ बात करने का मौका मिला था, जो यह नहीं समझ पाया था कि डेटा केंद्रों के बीच पूरी तरह से निरर्थक कनेक्शन 100% सेवा की उपलब्धता की गारंटी क्यों नहीं दे सकता है।

क्लाइंट के पास एक आइडियल था: प्रत्येक पर दो कोर राउटर के साथ साइटों के बीच L3 संचार, अलग-अलग ऑपरेटरों से दो चैनलों के साथ, संभवतः अलग-अलग बिंदुओं पर इमारत को छोड़ दें और फिर कभी भी कहीं भी इंटरसेक्ट न करें। और इसके बावजूद, हम डेवलपर्स को बताते हैं कि विभिन्न स्थानों में महत्वपूर्ण अनुप्रयोगों के घटकों को वितरित करना असंभव है। कमाल है ना?
खैर, पूरी तरह से बेमानी डिजाइन के साथ क्या गलत हो सकता है?

आपके द्वारा उपयोग किए जाने वाले प्रत्येक घटक में विफलता की गैर-शून्य संभावना है। नतीजतन, एक बार में कई घटकों की विफलता की संभावना भी मौजूद है। लेकिन अगर प्रत्येक घटक पर्याप्त रूप से विश्वसनीय है (कहते हैं, उपलब्धता 99.9% है), तो एक साथ विफलता की संभावना बेहद कम है, है ना? झूठी। एक-दूसरे से जुड़े नोड्स एक ही समय में गिरते हैं।

एक स्पष्ट उदाहरण: यदि कर्नेल राउटर सॉफ़्टवेयर एक हत्यारे पैकेज के लिए असुरक्षित है (उदाहरण के लिए, यह डिवाइस को क्रैश और रिबूट करने का कारण बनता है), तो पड़ोसी राउटर को संभवतः उसी पैकेज को अगले प्राप्त होगा।

एक मामला था: सिस्को राउटर में एक बग की खोज की गई थी, जो असाधारण रूप से लंबे एएस पथों को संसाधित करते समय स्वयं प्रकट होता है। तब कई लोग पहली बार "bgp मैक्सास-लिमिट" कमांड के महत्व को समझते थे। अपराधी मिकरोटिक राउटर थे। उनके कॉन्फ़िगरेशन का सिंटैक्स IOS रूटर्स से बहुत मिलता-जुलता है, केवल वहीं आपको AS पथ में प्रवेश करना होगा, लेकिन स्थानीय AS को कितनी बार दोहराया जाना चाहिए, जो कुछ प्रशासकों को पता नहीं था, क्योंकि प्रलेखन क्यों पढ़ा? राउटर ने दर्ज किए गए डेटा की शुद्धता की जांच नहीं की, और परिणामस्वरूप, स्थानीय एएस के निचले 8 बिट्स में संख्या ली गई। किसी के लिए, यह संख्या काफी अधिक थी।

एक कम स्पष्ट उदाहरण। लगभग सभी एक ही सेवा विंडो के भीतर काम करते हैं। प्रदाता उसी समय आपके किसी संचार चैनल के साथ निवारक कार्य शुरू कर सकता है जब आप राउटर को अपडेट करते हैं जो दूसरे चैनल का समर्थन करता है (हां, मेरे पास यह था, वे हमें इस बारे में चेतावनी देना भूल गए क्योंकि उन्होंने सोचा था कि हमारे पास सब कुछ आरक्षित है)।

डेवलपर अभी भी मुझ पर विश्वास नहीं करता था, इसलिए मैंने उसे एक और कहानी सुनाई।

कुछ समय पहले हमें सूचित किया गया था कि डेटा सेंटर को रोकथाम के कारण कुछ घंटों के लिए बाहरी बिजली आपूर्ति से काट दिया जाएगा। कोई समस्या नहीं है - एक डीजल जनरेटर सेट है, वहाँ यूपीएस हैं। लेकिन जब बिजली बंद कर दी गई, तो डीजल इंजन शुरू नहीं हुआ, और रात के बीच में इसकी मरम्मत करने वाला कोई नहीं था। सौभाग्य से, सभी प्रणालियों को सही ढंग से रोकने के लिए पर्याप्त समय था, लेकिन एक घंटे बाद हमारा डेटा सेंटर ट्रिपल रेडंडेंसी के बावजूद मर चुका था।

इसके लिए, डेवलपर ने जवाब दिया "अब मुझे समझ में आया।" तब उनके डेटा केंद्रों और सेवाओं की सही आपदा सहिष्णुता सुनिश्चित करने के लिए जो आवश्यक था, उस पर सहमत होना पहले से आसान था।

टिप्पणियों से अन्य उदाहरण।

यहाँ गलती सहिष्णुता के बारे में एक और कहानी है। एक बड़े साइट के सभी बाहरी चैनल एक इमारत में केंद्रित थे। पूर्ण आरक्षण प्रदान किया गया। दो आंतरिक राउटर, दो बाहरी, दो वीपीएन, डीजीयू से अनावश्यक बिजली की आपूर्ति। डीएस 3 चैनलों को प्रत्येक अपने स्वयं के बाहरी राउटर पर समाप्त कर दिया गया था, अलग-अलग मीडिया कन्वर्टर्स का इस्तेमाल किया, और अलग-अलग दिशाओं से इमारत छोड़ दी।

प्रकाशिकी इमारत के चारों ओर चली गई और अंततः प्रदाता की साइट पर परिवर्तित हो गई। वहां वह दो मीडिया कन्वर्टर्स में फंस गई जिसने उसे डीएस 3 में वापस कर दिया। दोनों मीडिया कन्वर्टर्स एक शेल्फ पर लेटे हुए थे, एक नियमित होम सर्ज रक्षक में फंस गए, जिसे बदले में एक एकल आउटलेट में प्लग किया गया था।

एक जनरेटर के साथ एक और कहानी। एक डेटा सेंटर में, इनपुट डी-एनर्जेट किया गया था, और डेसल्स शुरू हुआ। लेकिन किसी ने उनमें से एक पर लकड़ी के तख्तों का ढेर छोड़ दिया, और एक घंटे बाद डीजल प्रज्वलित किया।

डायसेल्स के बारे में अधिक, यह 12-13 साल पहले था। मैंने एक बड़े ब्रिटिश प्रदाता (बीटी नहीं) में काम किया, और एक गर्म दिन (हाँ, हमारे साथ ऐसा होता है) मैंने हमारे बड़े डेटा केंद्रों में से एक में कुछ काम किया। मैं जल्दी पहुंचा, और एक विशाल कंटेनर का वितरण पाया। जब मैंने पूछा कि यह क्या है, तो उन्होंने मुझे बताया कि यह एक जनरेटर था जो थोड़ी अतिरिक्त ऊर्जा देगा - शीतलन प्रणालियों ने सीमा तक काम किया और पर्याप्त शक्ति नहीं थी। मैंने सोचा कि "शांत" और काम करने के लिए तैयार है।

सुबह देर से, एक आग अलार्म बंद हो गया और पूरे डेटा सेंटर को डी-एनर्जेट किया गया, केवल आपातकालीन प्रकाश व्यवस्था काम करने के लिए बनी रही। मैं बाहर गया और महसूस किया कि क्या हो रहा था: केंद्रीय वेंटिलेशन सिस्टम के वायु इंटेक्स के करीब नया जनरेटर स्थापित किया गया था, और जब डीजल शुरू किया गया था, तो इसने धुएं के एक विशाल बादल को बाहर निकाल दिया, जिसे वेंटिलेशन में चूसा गया था, जो इमारत के अंदर धुएं के सेंसर द्वारा प्रतिस्थापित किया गया था

जब मैं अगले दिन वहां पहुंचा, तो डीजल निकास पर एक विशाल चिमनी स्थापित की गई थी, जो डेटा सेंटर की इमारत से बहुत दूर धुएं को हटाती थी।

उस साइट में बहुत अधिक दोष सहिष्णुता थी, लेकिन अंत में, कुछ भी मदद नहीं की ...

EDU में, सब कुछ आरक्षित था। लेकिन एक बात हम तय नहीं कर पाए। मशीन कक्ष सीधे कला विभाग के शौचालय के नीचे था। सामान्य तौर पर, एक बार जब हम स्वाभाविक रूप से गंदगी से भर गए थे। क्या आप जानते हैं कि शराब के साथ कपास झाड़ू के साथ भंडारण उपकरणों को पोंछने के लिए सन माइक्रोसिस्टम्स से अपने सेनानियों के प्रस्थान का आदेश देना संभव है?

मेरे शहर के विश्वविद्यालयों में से एक में, मुख्य डेटा सेंटर उनके केंद्रीय भवनों में से एक के तहखाने में स्थित है। उन्होंने सिर्फ एक पड़ोसी इमारत का निर्माण पूरा किया, और उन्हें पानी की आपूर्ति प्रणाली की जांच करने की आवश्यकता थी। परीक्षण अवधि के दौरान, उन्होंने मामले के बाहर नाली को खोल दिया, लेकिन रात में इसे बंद करना भूल गए। अंत में, तहखाने के प्रवेश द्वार तक सारा पानी बह गया। पूरा तहखाना 30 सेंटीमीटर पानी से भर गया था।

एक बार क्लाइंट सर्वर हार्डवेयर के एक हिस्से को दूसरी इमारत में स्थानांतरित करने के लिए था - अंतरिक्ष को मुक्त करने के लिए और थोड़ी सी गलती सहिष्णुता को जोड़ने के लिए। संचार एक PKO से दो OC-3 पर स्थापित किया गया था, लेकिन दो स्वतंत्र मार्गों पर। हमारे पास स्थानांतरित करने के लिए एक विस्तृत योजना थी, हर छोटी चीज के लिए प्रदान किया गया था, और जब समय एच आया - मैं बंदरगाहों से बाहर डूब गया, उपकरण बंद कर दिया गया और दूसरे भवन में स्थानांतरित किया जाने लगा। इंजीनियर प्रकाशिकी को खींचने के लिए तैयार था, अब अप्रयुक्त चैनल को काटने के लिए प्रदाता को हरी बत्ती दी गई थी। जब तक ... किसी ने एक बार कहीं, जब सर्किट बस संचालन में लगाया जा रहा था, तो चैनल पहचानकर्ताओं को मिलाया। इसलिए हमारा आधा डाटा सेंटर एक जगह से दूसरी जगह परिवहन की प्रक्रिया में था, जबकि दूसरी छमाही में एकमात्र बाहरी संचार चैनल कट गया। बहुत अच्छा नहीं है।

कुछ साल पहले (2005-2007 के क्षेत्र में), क्वींसलैंड को शेष ऑस्ट्रेलिया (और उस समय पूरी दुनिया के साथ) जोड़ने वाले प्रमुख राजमार्गों में से एक टूट गया। अगर मुझे घटनाओं का क्रम सही ढंग से याद है, तो यह मामला था।

राजमार्ग दो अलग-अलग तरीकों से गया, एक तट के साथ, दूसरा मुख्य भूमि के माध्यम से। सुबह के लगभग 3 बजे, तटीय प्रकाशिकी को समाप्त करने वाला लाइन कार्ड त्रुटियों में डालना शुरू कर दिया, और फिर पूरी तरह से गिर गया। कोई समस्या नहीं है - सभी यातायात मुख्य भूमि के माध्यम से रूट किए गए थे। इंजीनियरों को बोर्ड को बदलने के लिए सुबह 9 बजे आने का आदेश दिया गया था ... लेकिन लगभग 6 बजे खुदाई में प्रकाशिकी के माध्यम से कटौती की गई जो पूरे महाद्वीप में जा रही थी।

लगभग 10 साल पहले (मुझे आशा है कि लोहे के डेवलपर्स के बाद से) मैं RAID5 सरणी खो दिया है। दस डिस्क पर। यह सब इस तथ्य के साथ शुरू हुआ कि डिस्क संख्या "3" ने उड़ान भरी। इंजीनियर सरणी में जाता है, डिस्क को तीन निकालता है - और सरणी गिरती है। यह पता चला कि नियंत्रण इंटरफ़ेस 0 से 9 तक डिस्क की संख्या है, और सामने के पैनल पर अंकन 1 से 10 तक है, इसलिए इंजीनियर ने एक काम करने वाली डिस्क निकाल ली।

सभी प्रकार के अतिरेक, यूपीएस (बैटरी और डीजल) और बाकी सब के साथ एक बड़ा लॉजिस्टिक्स केंद्र। एक दिन, पूरी बिजली की आपूर्ति बंद है। इससे कोई फर्क नहीं पड़ता - बैटरियां लोड पर ले जाती हैं, डिसेल्स शुरू होते हैं, कार्यालय काम करना जारी रखता है।

बिजली बहाल है। क्वार्टर सभी रोशनी से जलाया जाता है, कार्यालय डी-एनर्जेटिक है।
मर्फी के नियमों के अनुसार, डीजल इंजन को सही ढंग से बंद कर दिया गया था, लेकिन केवल डीजल इंजन से शहर के इनपुट पर बिजली की आपूर्ति स्विच करने वाले रिले ने काम नहीं किया ...

मैं जिस डेटा सेंटर में काम करता था, उसमें शहर की बिजली आपूर्ति और यूपीएस की बुशिंग थी। यूपीएस ने 6 घंटे के संचालन की अपेक्षा के साथ लिया। दुर्घटना की स्थिति में, वर्चुअल सर्वर को दूसरी साइट पर स्थानांतरित करना था। सबसे अच्छा समाधान नहीं है, लेकिन यह काम करने लगता है।
एक बार हमारे डेटा सेंटर ने वास्तव में बाहरी शक्ति खो दी, और हमें पता चला कि एयर कंडीशनर यूपीएस से जुड़े नहीं थे। मैश हॉल तुरंत गर्म हो गया, और आधे घंटे के बाद सभी सिस्टम बंद होने लगे।

तीसरी दुनिया के देशों में, एक और घटना हुई। जब इमारत को बंद कर दिया गया, तो डीजल इंजन शुरू नहीं हुए। यह पता चला कि उन्होंने डीजल ईंधन का रिसाव किया।

हम एक बड़े डेटा सेंटर के ग्राहक हैं, सब कुछ आरक्षित है - बैटरी पावर, डीजल इंजन, अलग-अलग रास्तों के साथ डुप्लिकेट ऑप्टिक्स - आइडियल। इंजन के कमरों का विस्तार किया गया था, और बहादुर लोगों ने कुछ दीवारों को तोड़ दिया था, पहले से धूल से उपकरण बंद कर दिया था। फिर इन दोनों मसखरों ने शानदार विचार के साथ हॉल में फर्श को साफ किया। दुर्भाग्य से, उन्होंने अच्छे पुराने दिनों की तरह पानी की एक बाल्टी और चीर को चुना। बेशक, उनमें से एक गलती से एक बाल्टी में बदल गया।

टिप्पणियों में आपकी कक्षा "अतिरेक के विपरीत" दुर्घटनाओं के बारे में लिखें।