दुर्घटना का इतिहास: कैसे एक डेटा सेंटर 8 घंटे खड़ा था

^{दुर्घटना के बाद के परीक्षण का हिस्सा: इंजन कक्ष का थर्मल इमेजिंग निरीक्षण}

यह कहानी लंबे समय से एक कंपनी के डेटा सेंटर के साथ हुई है, दुर्घटना के सभी परिणामों को समाप्त कर दिया गया है, साथ ही स्थितियों की पुनरावृत्ति को बाहर करने के लिए सुधार किए जा रहे हैं। फिर भी, घटना पर रिपोर्ट, मेरा मानना ​​है कि, उन दोनों के लिए दिलचस्प होगा जो डेटा सेंटरों से निपटते हैं और वे जो लगभग जासूस आईटी कहानियां पसंद करते हैं।

एक नियोजित आउटेज की उम्मीद थी। डेटा सेंटर में दो लाइनें आईं, डेटा सेंटर के मालिकों को पहले से स्थिति के बारे में पता था, सभी आवश्यक परीक्षण तैयार किए और संचालित किए। मानक प्रक्रिया के अनुसार सभी को केवल डिसेल्स पर स्विच करना था।

घंटा X

बिजली इंजीनियरों द्वारा नियोजित के रूप में शटडाउन हुआ, अबाधित बिजली की आपूर्ति ने सामान्य रूप से काम किया, फिर डेटा सेंटर खंडों ने डीजल जनरेटर (उच्च शुरुआती धाराओं के प्रभाव से बचने के लिए) में स्विच किया। सब कुछ वैसा ही है जैसा होना चाहिए। इसी समय, डेटा सेंटर अभी तक अपनी डिजाइन क्षमता तक नहीं पहुंचा था, इसलिए डीजल जनरेटर लगभग दो गुना बिजली मार्जिन प्रदान करते थे।

घंटा पी

डेसेल्स ने एक और डेढ़ घंटे तक काम किया, जिसके बाद कंटेनरों में बने टैंकों में ईंधन भर गया। मानकों के अनुसार, एक धूपघड़ी को बड़ी मात्रा में सीधे डीजीयू के साथ संग्रहीत नहीं किया जा सकता है, अन्यथा इसे बहुत अधिक सुरक्षा के मुद्दों पर बहुत जटिल प्रमाणीकरण से गुजरना होगा। इसलिए, हर जगह अलग-अलग स्टोरेज का उपयोग किया जाता है, जिसमें से डीटी पंप किया जाता है। प्रणाली ने ईंधन को पंप करना शुरू कर दिया, और यहां डीजल जनरेटर "खांसी" और खड़े हो गए।

यह स्पष्ट आतंक है। Diesels जल्दी से एक के बाद एक बंद हो जाते हैं, बस कुछ करने का समय नहीं है - और डेटा सेंटर में बिजली गायब हो जाती है। थोड़ी देर बाद यह स्पष्ट हो गया कि ईंधन टैंक में लंबे समय तक संग्रहीत किया गया था, और तापमान में बदलाव के कारण, संक्षेपण लगातार वहां बना रहा। इसके अलावा, केले की भौतिकी: पानी ईंधन की तुलना में भारी होता है, और यह टैंक के बहुत नीचे तक डूब जाता है, जहां से बाड़ आती है। परिणाम - सभी diesels ने साफ पानी को छान लिया। इसी समय, पौधों को स्वयं भी पानी फिल्टर नहीं था, हालांकि उन्होंने मदद नहीं की होगी - फिल्टर लगभग आधा लीटर है, और वहां बहुत अधिक पानी था। इसी समय, भले ही समय में सब कुछ समझना संभव हो, लेकिन थोड़े समय में डीजल ईंधन को लाना संभव नहीं होगा।

परिणाम - एक योजनाबद्ध आउटेज के दौरान, कंपनी को पूरे डेटा सेंटर का आपातकालीन स्टॉप मिला। लगभग 8 घंटे, जो एक बड़ी कंपनी के लिए लगभग त्रैमासिक लाभ के बराबर हो सकता है। डेटा सेंटर उस क्षण से खड़ा था जब तक कि शहर से फिर से संचालित नहीं किया गया था, तब तक डीजल इंजनों के साथ पानी खत्म हो गया था।

उठने के लिए पर्याप्त नहीं है: आपको कभी भी बिस्तर पर नहीं जाना चाहिए

प्रबंधन ने प्रासंगिक निष्कर्ष दिए और भविष्य में समस्याओं के पूरे वर्ग की पुनरावृत्ति को रोकने का फैसला किया। ऐसा करने के लिए, बाधाओं को खोजने के लिए पूरे बुनियादी ढांचे की एक ऑडिट की आवश्यकता थी। इस बिंदु पर, हम परियोजना से जुड़े और विश्लेषण शुरू किया।

हमने Uptime Institute की तकनीकों का उपयोग किया, जो एक संगठन है जो दुनिया भर के डेटा सेंटर विफलताओं पर एक ज्ञान आधार एकत्र करता है और कैसे और क्या काम करना चाहिए, इस पर सटीक सिफारिशें करता है। वैसे, इस तरह की सख्त आवश्यकताओं के अनुसार डेटा केंद्र बनाने के तरीके के बारे में अधिक हमारे विषय में वृद्धि की जिम्मेदारी के साथ डेटा सेंटर में पाया जा सकता है। दिलचस्प बिंदुओं में से एक यह है कि मानक के अनुसार शहर का बिजली इनपुट हमेशा एक स्रोत होता है (भले ही चैनल 5 बिजली संयंत्रों से हों) और इसे अतिरिक्त माना जाता है, क्योंकि यह डेटा सेंटर के मालिक द्वारा पूरी तरह से नियंत्रित नहीं है। इस अर्थ में कि यह हो सकता है (यह अच्छा है) और यह नहीं हो सकता है (यह लगभग सामान्य है), साथ ही यह बिना किसी चेतावनी के डिस्कनेक्ट हो सकता है - और यह स्थिति काफी सामान्य है। इसलिए, डेटा सेंटर के बुनियादी ढांचे का विश्लेषण करते समय Uptime Institute के विशेषज्ञ, हमेशा शहर के इनपुट पर इस तरह विचार करते हैं: वहाँ है और है, वे विवरण में नहीं जाते हैं और शहर की योजना को नहीं देखते हैं।

दूसरी ओर, Uptime संस्थान के मानकों द्वारा स्वायत्त हिस्सा बहुत महत्वपूर्ण है। डीजल इंजन, ईंधन, सेवा आदि की गुणवत्ता का सावधानीपूर्वक अध्ययन किया। बता दें कि रूस में यह विपरीत करने के लिए प्रथागत है, शायद आवश्यक नहीं है। हर कोई विस्तार से बताता है: हमारे पास वहाँ से यह किरण है, और यहाँ से, यह सबस्टेशन बहुत अच्छा है ... अगर किसी को भी चगिंस्काया मामला याद है, जब सभी किरणें एक ही बार में बंद हो जाती हैं, तो यह स्पष्ट हो जाएगा कि अपटाइम इंस्टीट्यूट ऐसी लाइनों के समान क्यों है। मानक के अनुसार, आपको अच्छी स्थिति में बनाए रखने की आवश्यकता है, जो कि आप डेटा सेंटर के मालिक के रूप में, और इसे सही ढंग से डिज़ाइन करते हैं।

सर्वेक्षण

आधुनिक समाधानों का उपयोग करते हुए डेटा सेंटर को काफी आधुनिक स्तर पर डिजाइन और निर्मित किया गया था, लेकिन जैसा कि आप जानते हैं, शैतान विवरणों में है। हमारे प्रोफ़ाइल इंजीनियरों ने पहली बात यह कही कि बहुत ही भ्रामक और अतार्किक बिजली वितरण योजना लागू की गई थी। यह प्रोग्राम किए गए नियंत्रित नियंत्रकों के आधार पर बनाया गया है, और निर्माता एक बंद वास्तुकला और एक "सिर" के साथ: यदि यह टूट जाता है, तो कोई अतिरेक नहीं है। और यहां हम फिर से आते हैं कि उपटाइम संस्थान के हमारे सहयोगियों के बारे में क्या बात कर रहे हैं: मुख्य सिद्धांत टियर III के लिए एक वाक्य द्वारा संक्षेप में व्यक्त किया गया है (हमारी भावनाओं के अनुसार, सबसे लोकप्रिय): कोई भी एक तत्व decommissioned हो सकता है, और सिस्टम चाहिए इसके पूर्ण प्रदर्शन को बनाए रखें।

डिजाइन प्रलेखन के तत्वों में, निर्माण और PUE को छोड़कर, मानकों के अनुपालन का कोई उल्लेख नहीं है: यह एक विशेषता लक्षण है जिसे आपको सभी छोटी चीजों को गहरा और ऑडिट करने की आवश्यकता है। एक अन्य समान लक्षण यह है कि जब मानकों को निर्दिष्ट किया जाता है कि डिजाइनर के संबंध में बाहरी प्राधिकरण द्वारा प्रमाणीकरण की आवश्यकता नहीं होती है। यहां अक्सर ऐसा होता है कि एक चीज को कागज पर घोषित किया जाता है, और दूसरी चीज को वस्तु पर। सौभाग्य से, हमारे मामले में, परियोजना प्रलेखन वास्तव में वास्तविक कार्यान्वयन के अनुरूप है।

भोजन

एक बार फिर से: किसी भी तत्व को किसी भी समय डिकमीशन किया जा सकता है - और डेटा सेंटर को काम करना जारी रखना चाहिए जैसे कि कुछ भी नहीं हुआ था। परीक्षा के तहत हमारी विशेष वस्तु पर लगभग सभी तत्वों को डुप्लिकेट किया गया था, उदाहरण के लिए, स्वचालन प्रणाली के नियंत्रक को छोड़कर। यह रिजर्व के स्वचालित इनपुट के कई प्रणालियों का प्रबंधन करता है, एक विशेष भार (सर्वर रैक) से इनपुट वितरण उपकरणों तक विद्युत वितरण लाइनों का संचार करता है। ऐसा लगता है कि लाइनें आरक्षित हैं, ढाल आंशिक रूप से आरक्षित हैं, यूपीएस और डीजीयू आरक्षित हैं। लेकिन केवल एक तत्व, जिसकी लागत बुनियादी ढांचे की कुल लागत की तुलना में बहुत कम है, आरक्षित नहीं है, और विफलता और दुर्घटना का एक अतिरिक्त कारण बन सकता है। और कुछ करते समय जल्दी अवास्तविक होगा: आपको लोहे के एक टुकड़े को बदलने के लिए डेटा सेंटर को बंद करना होगा।


शील्ड के इनपुट पर वर्तमान मानों के मापन का एक विस्तृत ग्राफ़। चरणों को समान रूप से लोड किया जाता है;


ढाल के इनपुट पर बड़ा ग्राफ -2 वर्तमान में कमी। वर्तमान विफलता के बाद, लोड 5-6 सेकंड के लिए एक ही स्तर पर रहता है, फिर यह पिछले स्तर पर स्टेपवाइज बढ़ाना शुरू कर देता है।

अगला बिंदु ईंधन आपूर्ति प्रणाली का संचालन और डीजल जनरेटर का सिंक्रनाइज़ेशन है। ईंधन प्रणाली को डाटा सेंटर के कामकाज के लिए महत्वपूर्ण माना जाता है और इसके आरक्षण की आवश्यकता होती है। खैर, विभाजकों की कमी, यह हमारी वास्तविकताओं के पश्चिमी डिजाइनरों द्वारा कम करके आंका गया है। डीजल जनरेटर का सिंक्रोनाइज़ेशन एक और महत्वपूर्ण बिंदु है, जो पूर्वाग्रह संस्थान पूर्वाग्रह जांचता है। यदि आप उन सभी को चलाते हैं, तो एक खुद को एक नेता नियुक्त करता है, एक आम बस पर बैठता है, और अन्य सभी मशीनें सिंक्रनाइज़ करने की कोशिश करती हैं। मोटे तौर पर, वैकल्पिक वोल्टेज की साइन तरंगों को संयोग करना चाहिए ताकि शॉर्ट सर्किट न हो। जैसे ही किसी भी मशीन को सिंक्रनाइज़ किया जाता है, संपर्ककर्ता चालू होता है और यह आम बस से जुड़ा होता है। इसलिए सभी डायसल्स को एक आम लाइन में डायल किया जाता है। यह सुनिश्चित करने के लिए कि यह सब ठीक हो जाता है, आधुनिक डीजल जनरेटर आपस में संचार के लिए प्रदान करते हैं, अर्थात्, उन्हें एक सामान्य सूचना नेटवर्क में जोड़ा जाता है। इस पद्धति का एक और प्लस यह है कि मशीनें लोड को संतुलित कर सकती हैं।

अपटाइम इंस्टीट्यूट निम्नलिखित पद से आगे बढ़ने का सुझाव देता है: कल्पना करें कि कोई बाहरी नेटवर्क नहीं है, आप पूरे साल डीजल जनरेटर पर काम करते हैं। अब समय आ गया है, उदाहरण के लिए, डीजल इंजनों में से एक के नियंत्रण कक्ष को बदलना। आपने इसे बंद कर दिया, बाकी डेटा सेंटर प्रदान करने के लिए पर्याप्त है। और फिर आपको इस बस को निकालना होगा, जो मशीनों को एकजुट करता है, उसमें से और नियंत्रण कक्ष को हटा देता है। यह परीक्षण, एक भी मानक डीजल जनरेटर नहीं है जिसे हम बेचते हैं, पास हो जाएगा। क्योंकि उनकी बस अनिवार्य रूप से रैखिक है। वे एक-दूसरे से जुड़े हुए हैं: आप बीच में खुलते हैं, और दाईं ओर को पता नहीं है कि बाएं क्या कर रहा है। हमारे डेटा सेंटर के लिए, "कंप्रेसर" ने विशेष रूप से इस आवश्यकता के लिए जिम्मेदारी बढ़ाई, अन्य नियंत्रण प्रणालियों द्वारा बनाई गई जहां बस लूप की गई है। और हम इसे कहीं भी फाड़ सकते हैं, डेटा खो नहीं है, और मशीनें एक दूसरे के साथ संवाद करना जारी रखेंगी। डेटा केंद्रों को डिज़ाइन करते समय, कुछ लोग इस बारे में जानते हैं, और, तदनुसार, एक और अड़चन है। यह छोटा लगता है, बेहद असंभव है - लेकिन ऐसी संभावनाओं की श्रृंखला सबसे भयानक स्थिति पैदा करती है जो बचने के लिए बेहद वांछनीय हैं।

आगे के परीक्षण

हमने डेटा सेंटर के अंदर रैक की गैर-इष्टतम व्यवस्था देखी। ऐसा लगता है कि यह एक सामान्य बात है, इसके बारे में बहुत कुछ कहा जाता है, सब कुछ अच्छी तरह से जाना जाता है, लेकिन फिर भी, निस्संदेह सक्षम और अनुभवी विशेषज्ञ जो ग्राहक की ओर से डेटा सेंटर के संचालन में शामिल हैं, उन्होंने उपकरणों की व्यवस्था के संदर्भ में कई गलतियां कीं।

एयर कंडीशनिंग सिस्टम में हमारे विशेषज्ञों ने एक सरल समाधान का प्रस्ताव दिया जो (या कार्यान्वयन के बाद) गंभीरता से एयर कंडीशनिंग सिस्टम की दक्षता को बढ़ाने के लिए अनुमति देता है। इसके अलावा, ग्राहक क्षमता बढ़ाने की संभावना पर विचार कर रहा है - यह इस तरह से काम में आएगा जब भार बढ़ाया जाएगा। साथ ही, हमने क्षमता बढ़ाने के लिए क्या किया जाना चाहिए, इस पर सिफारिशें लिखी हैं। इसके अलावा, हमने एससीएस के कार्यान्वयन और सुरक्षा प्रणालियों के परिसर का मूल्यांकन किया, कोई टिप्पणी नहीं थी, सब कुछ सही ढंग से किया गया था।

प्रमुख नोट सबसे महत्वपूर्ण प्रणालियों पर थे। उदाहरण के लिए, हमने थर्मोग्राम्स को शूट किया, स्थानीय ओवरहिटिंग ज़ोन के लिए खोज की। उदाहरण के लिए, उन्हें एक इंजेक्शन ज़ोन मिला:




झंझरी इजेक्शन इफेक्ट

एक स्थानीय ओवरहिटिंग ज़ोन था: एक स्टैंड है, रेंज की सीमा से पर्याप्त जेट नहीं है। यह ठंडा हो जाता है, लेकिन पर्याप्त ऊपर नहीं। इसके अलावा, यदि रैक पूरी तरह से सर्वर से भरा नहीं है, तो प्लग को गर्म और ठंडे गलियारों को डिस्कनेक्ट करने के लिए रखा जाता है। अन्यथा, ओवरफ्लो होता है। द्वारा और बड़े, आपको बस पंखे का तार पंखे की गति बढ़ाने की आवश्यकता है: इससे पहले, निचले सर्वर को आवश्यक से अधिक ठंडा किया गया था, और ऊपरी गर्म था। दूसरा उदाहरण - ब्लॉकों की एक दीवार है, थर्मोग्राम पर सीम दिखाई देते हैं: उनकी तापीय चालकता फोम कंक्रीट की तुलना में अधिक है। स्वाभाविक रूप से, यह किसी भी समस्या का वादा नहीं करता है, बस आधुनिक थर्मल इमेजर्स की क्षमताओं का एक अच्छा प्रदर्शन है।


रैक क्षेत्र


हॉट रैक कॉरिडोर क्षेत्र


कोल्ड रैक आइल एरिया

उसी समय, हमने डेटा सेंटर की बिजली आपूर्ति की गुणवत्ता को देखा: हमने जाँच की कि इनपुट में बिजली की गुणवत्ता क्या है, हमने इसके लिए विशेष ग्रंथियों का उपयोग किया, वहां सब कुछ ठीक है। फिर हमने एससीएस, वायु प्रवाह दर, प्रशंसक कॉइल की स्थापित शक्ति और वास्तविक एक के बीच पत्राचार - सब कुछ मेल खाता है, सब कुछ ठीक काम करता है, में कई मापदंडों का परीक्षण किया।

सारांश

यह सब एक दुर्घटना के साथ शुरू हुआ, और यह सब एक विश्लेषण के परिणामस्वरूप हुआ, जिसके परिणामस्वरूप अधिक कमियों का खुलासा हुआ और सत्ता में इष्टतम वृद्धि पर सिफारिशें की गईं।

रूस में, टियर III के बजाय, अपटाइम इंस्टीट्यूट की कार्यप्रणाली के अनुसार, टियर III को अक्सर टीआईए 942 के अनुसार घोषित किया जाता है। टीआईए वास्तव में, उन आवश्यकताओं का वर्णन करता है, जो आपके डेटा सेंटर के लिए टीयर-थर्ड की तरह दिखने के लिए पूरी होनी चाहिए, लेकिन आपके विवेक पर, या नहीं। यह एक अनुशंसात्मक मानक है, और मूल्यांकन प्रक्रिया वहाँ घोषणात्मक है: उन्होंने इसे बनाया और कहा कि यह टियर III था। और यह देखते हुए कि अपटाइम इंस्टीट्यूट और टीआईए दोनों में टीयर III स्तर है, ग्राहकों को अक्सर गुमराह किया जाता है। यह देखने के लिए कि क्या साइट को वास्तव में प्रमाणपत्र मिला है, बस Uptime Institute की वेबसाइट पर जाएं।

हमने कई बार डेटा केंद्रों का ऑडिट किया (और उन्हें बनाने में मदद की), इसलिए हम जानते हैं कि ग्राहक और ठेकेदार भले ही गंभीर हों, फिर भी ऑडिट के लिए एक और पक्ष को आकर्षित करना बेहतर और सुरक्षित है। क्योंकि कोई फर्क नहीं पड़ता कि आपूर्तिकर्ता, डिजाइनर और इंस्टॉलर कितने अच्छे हैं, वे गलत हो सकते हैं। उदाहरण के लिए, टियर III पर काम करते समय, दोनों परियोजना और इसके ऑन-साइट कार्यान्वयन को अपटाइम इंस्टीट्यूट के लोगों द्वारा चेक किया जाता है, जो वर्षों से अंत तक डेटा सेंटरों में घूमने और उनमें बग की तलाश कर रहे हैं। उनसे प्रमाणन प्राप्त करना मुश्किल है, लेकिन सावधानीपूर्वक दृष्टिकोण के साथ, यह खोज पूरी हो गई है, और डेटा सेंटर वास्तव में चार नाइन की पहुंच स्तर के साथ काम करता है।