टीआईईआर- III वर्ग फेल-सेफ डाटा सेंटर इंफ्रास्ट्रक्चर

कंप्रेसर डेटा सेंटर की पहली मंजिल के मध्य भाग में दो हॉल हैं, उनके ऊपर सख्ती से - दूसरी मंजिल पर दो हॉल। प्रत्येक हॉल में प्रति रैक 1 मेगावाट विद्युत शक्ति होती है। भूतल पर एक ट्रांसफार्मर सबस्टेशन, वितरण केंद्र, स्विचबोर्ड है। आरेख पर बाएं से ऊपर एक घरेलू परिसर, एक सुरक्षा कक्ष है। हॉल के दाईं ओर - शीतलन प्रणाली का कमरा - पंप स्टेशन। हॉल (पक्षों पर) के पास प्रशंसक कॉइल के साथ गलियारे हैं, केंद्र में स्विचबोर्ड के साथ एक गलियारा है।

दूसरी मंजिल मूल रूप से पहली मंजिल के लेआउट को दोहराती है:



ट्रांसफार्मर सबस्टेशन के स्थान पर - यूपीएस और बैटरी। दूसरी मंजिल का प्रशीतन भाग ग्लाइकोल पंपिंग स्टेशन (दूसरा कूलिंग सर्किट) है। साथ ही, डेटा सेंटर के 15 मिनट के ऑटोनॉमस कूलिंग के लिए हॉल के दाईं ओर 100 क्यूबिक मीटर के लिए एक स्टोरेज टैंक स्थापित किया जाता है (जब डीजल पावर प्लांट शुरू हो रहा है तब बाहरी बिजली की आपूर्ति काट दी जाती है, कूलिंग रूम पहले से टैंक से पूर्व-ठंडा होते हैं, जिसे कूलिंग सर्किट को आपूर्ति की जाती है)।


डेटा सेंटर लेआउट

यहां इस डेटा सेंटर के निर्माण के बारे में पहला विषय है ।

पृष्ठभूमि

शुरुआत करने से पहले, मैं संक्षेप में स्थिति के बारे में बात करूंगा। अब CROC के 3 डेटा सेंटर हैं, जो इस तरह से स्थित हैं:



पहले दो हमारे कार्यालय में हैं और क्रमशः पड़ोसी पार्किंग इमारत के नीचे। तीसरा (सिर्फ "कंप्रेसर") दूर स्थित है, लेकिन मास्को में भी विकसित बुनियादी ढांचे और राजधानी में और शहर में कहीं भी अच्छे संचार चैनलों के कारण है। यह वह जगह है जहां सिस्टम प्रशासक या इंजीनियर शहर या केंद्र से मेट्रो या कार से कहीं भी आसानी से 40-50 मिनट तक पहुंच सकते हैं।

सामान्य तौर पर, आज हम पहले से ही रूस में विभिन्न कंपनियों के डेटा केंद्रों के 60 से अधिक लॉन्च में भाग ले चुके हैं - कहीं हमने बहुत कुछ किया, कहीं परामर्श किया, कहीं हमने केवल एक अलग क्षेत्र का प्रदर्शन किया। शानदार अनुभव जमा हुआ है। लेकिन यह सब बस शुरू हुआ: पहला डेटा सेंटर एक पायलट था, जिसमें सभी क्लासिक समाधान थे। इसके आधार पर, हमने अपने लिए महसूस किया कि यह क्षेत्र कितना आशाजनक है और कितने आउटसोर्सिंग डेटा केंद्र हैं। फिर हमने कंप्रेसर डेटा सेंटर का डिजाइन और निर्माण शुरू किया। साथ ही, पार्किंग स्थल के नीचे एक और नहीं बहुत बड़े डेटा सेंटर का निर्माण संभव हो गया। रूस में पहली बार, हमने इसमें डीडीआईबीपी का उपयोग किया (यह एक बहुत ही दिलचस्प यूपीएस है, जहां एक विशाल रोटर गतिज ऊर्जा जमा करता है), इसके अलावा और कंप्रेसर दोनों पर कई और नए चलाए गए थे।


90 रैक और 1 मेगावाट के साथ पहला डेटा सेंटर।


110 रैक और 2 मेगावाट के साथ दूसरा डेटा सेंटर।


800 रैक और 8 मेगावाट के साथ कंप्रेसर डेटा सेंटर।

बिजली की आपूर्ति

क्षमा करें, मुझे चेतावनी दी गई थी कि यदि आरेख पर कुछ पढ़ा जाता है, तो सुरक्षा गार्ड मुझे गोली मार देंगे, इसलिए ऐसा है।

बिजली की आपूर्ति

• डेटा केंद्र के 8 एमवीए अधिकतम बिजली की खपत,
• 4 मेगावाट (4x200x5 kW) आईटी बिजली की खपत,
• जनरेटर से ऊर्जा (टीपीपी -11) दो स्वतंत्र केबल लाइनों के माध्यम से,
• PUE डेटा सेंटर (सभी उपभोक्ताओं सहित) की कुल खपत से आईटी रैक 1.35-1.45 (सर्दियों) तक माप के परिणामों के अनुसार, कुछ दिनों में यह 1.25 था। १.४५-१..५ (ग्रीष्म)। नियोजित औसत वार्षिक 1.45 है, हम योजना से थोड़ा बेहतर हो रहे हैं,
• कंटेनर डिजाइन में FGWilson DGU की रूस विधानसभा में सबसे बड़ा,
• 2000 एमवीए के 7 डीजीयू प्रत्येक,
• 2 टायरों पर डीजल जनरेटर सेट का समानांतर संचालन,
• संचार 2N का आरक्षण,
• आरक्षण DGU N + 1,
• 24 घंटे के लिए ईंधन आरक्षित।

निर्बाध बिजली आपूर्ति

• जीई डिजिटल एनर्जी यूपीएस की रूस विधानसभा में सबसे बड़ा,
• 38 पीसी। जीई डे एसजी श्रृंखला 300 केवीए प्रत्येक
• स्वायत्तता 15 मिनट
• निरर्थक यूपीएस 2N और N + 1 को असेंबल करता है।

उपकरण

• तारों और स्विचबोर्ड उपकरण श्नाइडर इलेक्ट्रिक,
• सितम माइक्रोप्रोसेसर रिले सुरक्षा,
• P और G श्रृंखला के प्रिस्मा प्लस स्विचबोर्ड,
• बसबर्स कैनालिस केटीए,
• केबल उत्पाद: घरेलू पौधों से 1.5 से 400 वर्ग मिलीमीटर (कुछ को अपने हाथों से, केवल एक विशेष उपकरण के साथ तुला नहीं किया जा सकता) के क्रॉस सेक्शन के साथ 100 किमी से अधिक केबल।

एक पूर्ण 8 मेगावाट बाहर +37 के तापमान पर और मशीन कमरों का एक पूर्ण भार प्राप्त किया जाता है। प्रवेश द्वार सीएचपीपी से 2 लाइनें है, और हमें उनकी आपूर्ति कोशिकाओं को संशोधित करना और बुनियादी ढांचे को स्वयं डेटा केंद्र में रखना था। फिर 8 ट्रांसफार्मर, 2 के 4 समूह। हमने स्विचिंग उपकरणों की संख्या को कम करने की कोशिश की। रूस में, एक ट्रांसफॉर्मर की तुलना में एक 2.5 किलोमेयर सर्किट ब्रेकर अधिक महंगा है। इसलिए, हमने लागत को कम करने के आधार पर योजना को अनुकूलित किया। 2000 किलोवोल्ट-एम्पीयर के दो स्वतंत्र ट्रांसफार्मर वर्तमान में प्रत्येक मशीन रूम के लिए काम कर रहे हैं। अजीब ट्रांसफॉर्मर मिर्च और शीतलन टावरों को खिलाते हैं, यहां तक ​​कि ट्रांसफॉर्मर प्रशंसक कॉइल को भी खिलाते हैं। हमारे पास किसी भी ट्रांसफार्मर को बंद करने की क्षमता है, और एक ही समय में, डेटा सेंटर की दक्षता का उल्लंघन नहीं किया जाता है। आरेख में दाईं ओर 2000 किलोबॉल-एम्पियर की स्टैंडबाय पावर के 7 स्टैंडबाय डीजल जनरेटर सेट हैं। ईंधन की आपूर्ति 25 घन मीटर के दो कंटेनरों में संग्रहीत की जाती है।

यूपीएस - क्लासिक स्थैतिक। प्रत्येक 300 किलोवाट-एम्पीयर के 38 टुकड़े। मशरुम के लिए, 2 एन अतिरेक, इंजीनियरिंग भार के लिए - एन + 1। 15 मिनट की निर्बाध शक्ति प्रदान की जाती है।

पावर ट्रांसफार्मर घरेलू हैं, वे काफी उच्च गुणवत्ता के हैं। कुल में - 8 टुकड़े। वे पोडॉल्स्क ट्रांसफार्मर प्लांट द्वारा बनाए गए थे, वे पूरी तरह से काम करते हैं, कोई शिकायत नहीं। केबल उत्पाद भी घरेलू हैं, लेकिन हमने शिपमेंट के दौरान प्रत्येक केबल की सावधानीपूर्वक जांच की, क्योंकि यह कोई रहस्य नहीं है कि बड़े बैचों के साथ, हमारे पौधे शादी को ड्राइव कर सकते हैं। हम हर मीटर के लिए लड़े।

ठंडा

शीतलन प्रणाली पर्यावरण मित्रता, मूल्य और दक्षता के बीच एक संतुलन है। हां, हां, हमें हरे रंग के समाधान पसंद हैं, और तब भी हमने इसके बारे में सोचा था, न कि केवल पैसे के बारे में।



प्रणाली दोहरे सर्किट है, पानी के साथ पहला सर्किट - 200 टन। फैल के मामले में, कोई समस्या नहीं है। थर्मोफिजिकल गुणों में भी पानी अच्छा है। भंडारण टैंक जो हम प्रबलित कंक्रीट से बने हैं, दबाव पानी के एक प्राकृतिक स्तंभ (खुली प्रणाली) द्वारा बनाया गया है।

हम हीट एक्सचेंजर्स पर पानी के संक्षेपण के कारण बिजली के नुकसान को कम करने के लिए उच्च तापमान पैरामीटर निर्धारित करते हैं। हमारे मामले में, रिटर्न लाइन पर फीड 18 डिग्री पर 13 डिग्री। भविष्य में, निम्नलिखित डेटा केंद्रों में (हम रूस में लगातार उनका निर्माण कर रहे हैं) हम अभी भी तापमान बढ़ाना चाहते हैं, हम आगे बढ़ सकते हैं।



बाहरी सर्किट एथिलीन ग्लाइकॉल से भरा है। चिलर और ड्राईक्लर्स श्रृंखला में जुड़े हुए हैं - यानी, फ्री कूलिंग मोड में ऑपरेशन की तापमान सीमा का विस्तार किया जाता है, आप सड़क पर लगभग शीतलन मोड से कूलर से आंशिक रूप से +15 तक गर्मी को आंशिक रूप से हटा सकते हैं। पूर्ण शक्ति के साथ 100% फ्रीकॉलिंग पहले से ही +5 और नीचे उपलब्ध है।

हमने एक कंप्यूटर एडेड डिजाइन प्रणाली का उपयोग किया, जिसने हमें अंतिम योजना को अनुकूलित करने की अनुमति दी। परीक्षण की प्रक्रिया में, तापमान, दबाव और इतने पर डिजाइन के सभी मूल्य पूरी तरह से स्पष्ट रूप से और कठिनाइयों के बिना प्राप्त हुए थे। मैन्युअल रूप से पाइपलाइनों की उच्च शाखा के कारण यह मुश्किल होगा।

मुख्य पैरामीटर:

• 64 STULZ फैन कॉइल 4000 kW पावर के लिए है। 48 + 16 स्टैंडबाय। पैसे बचाने के लिए, हम हर उस चीज़ का उपयोग करते हैं जो हमें गर्म पानी पर काम करने की अनुमति देती है।
• पानी 13/18 डिग्री सेल्सियस,
• हर 4 वें मशीन पर ह्यूमिडिफायर
• पावर 97 kW (Qavn = Qfull),
• हवा की खपत 28800 एम 3 / एच।

आपूर्तिकर्ता:

• चिलर्स एंड कूलिंग टावर्स: नोर्डवेंट,
• वेंटिलेशन उपकरण: LennOX,
• पम्पिंग उपकरण: GRUNDFOS,
• हीट एक्सचेंज उपकरण: अल्फा लावल,
• स्टॉप वाल्व: BROEN, GROSS।

उठाए गए फर्श के नीचे गैस आग बुझाने की प्रणाली के अलावा कुछ भी नहीं है, और वहां कुछ भी ज़ोन नहीं है, हम कुल मात्रा के लिए काम करते हैं। सभी एयर चिलर्स + "ड्राई" कूलिंग टावरों को श्रृंखला में सर्किट में शामिल किया गया है (पहले, कूलिंग टावर्स नीचे की ओर स्थित हैं, फिर चिलर)। यह आपको पूर्ण और आंशिक फ्रीकॉलिंग मोड में सिस्टम की सीमा का विस्तार करने की अनुमति देता है।

पिछले विषय में उठाए गए फर्श के माध्यम से इस तरह के समाधान पर एक सवाल था, मैं आपको थोड़ा और विस्तार से बताऊंगा कि क्यों। डेटा केंद्रों में लगभग सभी आधुनिक अनुप्रयोगों के लिए उठाए गए फर्श के माध्यम से काम करना काफी प्रभावी, सुविधाजनक और संरचनात्मक रूप से सरल है। इंजीनियरिंग सिस्टम को डिज़ाइन करते समय हमने जो कार्य हल किए उनमें से एक यह सुनिश्चित करना था कि मशीन के कमरों के अंदर "किरायेदार" (किरायेदारों से संबंधित नहीं) इंजीनियरिंग उपकरण नहीं थे। यह आवश्यक है क्योंकि यदि, उदाहरण के लिए, बैंक हमारे स्थान पर रैक रखता है, तो अक्सर यह हॉल में सीधे विशेष अवरोध डालता है। ग्राहक क्षेत्र के अंदर उपकरणों के किसी भी रखरखाव का मतलब उनके सुरक्षा गार्ड को बुलाने की आवश्यकता है। हमारे ग्राहकों के सुरक्षा मुद्दे सभी से ऊपर हैं।

दूसरा कार्य इंजन के कमरों में और उनके ऊपर (कोई "अंतर-पंक्ति" और छत पर "रेफ्रिजरेटर") पानी की कमी है। ऊपर की मंजिल के माध्यम से काम करते हुए, हम दोनों ने इन दोनों समस्याओं का समाधान किया, क्योंकि पंखे की कॉइल इकाइयाँ जिन्हें हमने हॉल से विशेष साइड कॉरिडोर में हटा दिया था।

एक और सवाल "गर्म" रैक के बारे में था। उन्हें सामान्य आधार पर ठंडा किया जाता है। उनके बगल में हम टोपी के साथ "खाली" रैक डालते हैं। एक शर्त है - उठाया मंजिल के एक छिद्रित टाइल के माध्यम से, हमारी स्थितियों में, आप लगभग 5 किलोवाट गर्मी (एक "औसत" सर्वर कैबिनेट) को हटाने के लिए पर्याप्त हवा उड़ा सकते हैं। यदि सर्वर 30 kW आवंटित करता है, तो उसे 6 टाइलें देने की आवश्यकता होती है।

धूल से सुरक्षा

वायु की तैयारी

इस डेटा सेंटर के निर्माण के बारे में एक पोस्ट में, उन्होंने धूल संरक्षण के बारे में पूछा। सामान्य तौर पर, बात काफी सरल है, लेकिन मैं अधिक विस्तार से बताऊंगा। कई परिचालनों की आवश्यकता है:

• सबसे पहले, निर्माण के बाद उपकरण की स्थापना के बाद सब कुछ निकालना आवश्यक है। ऐसा करने के लिए, हमने एक विशेष सफाई कंपनी को आकर्षित किया, जिसने सब कुछ साफ कर दिया जैसे कि एलियंस के लिए संगरोध स्थापित करना आवश्यक था।
• दूसरे, जब अंदर अधिक धूल नहीं होती है, तो यह महत्वपूर्ण है कि इसे अब डेटा सेंटर में न दें। ईयू 4 फैन कॉइल फिल्टर द्वारा हॉल के अंदर वायु निस्पंदन सुनिश्चित किया जाता है। यही है, बाहरी धूल केवल आगंतुकों के साथ मिल सकती है।
• तीसरी बात, मेहमानों के साथ डेटा सेंटर में आने वाली कोई भी धूल, एक ही फिल्टर द्वारा फ़िल्टर की जाती है, क्योंकि मशरुम के अंदर की हवा लगभग बहुगुणता के साथ लगभग बंद मात्रा में घूमती है।
• और चौथा, इंजन के कमरों में, हवा को एक विशेष वेंटिलेशन मशीन (फिल्टर के साथ, निश्चित रूप से) के साथ आपूर्ति की जाती है, अर्थात, कमरों के अंदर थोड़ा अतिरिक्त दबाव होता है जो धूल को बाहर से चूसने से रोकता है।

प्रमाणपत्र

संक्षेप में, प्रमाणीकरण के दो दृष्टिकोण हैं - "जैसा हमने कहा और सब कुछ ठीक होगा" का निर्माण करें - टीआईए के अनुसार और "आवश्यकताओं के अनुसार निर्माण, और हम यूआई द्वारा वस्तु की जांच करेंगे"। हमने दूसरी पद्धति के अनुसार प्रमाणित किया, अर्थात्, हमने डेटा सेंटर पर वास्तविक परीक्षण किए, जो रूस में काफी दुर्लभ है। TIER-III प्रमाणित डेटा केंद्रों की एक सूची यहां देखी जा सकती है: uptimeinstitute.com/TierCertification/certMaps.php ।
प्रमाणन दृष्टिकोण के बारे में अंतर यहाँ habrahabr.ru/company/croc/blog/157099 है ।


टीआईआर I - टीआईआर चतुर्थ स्तर के बीच अंतर

अपटाइम के टीआईआर-तृतीय में समानांतर रखरखाव शामिल है जब नियमित रखरखाव और दुर्घटनाएं डेटा सेंटर से बाहर नहीं निकलती हैं और इसके आउटपुट मापदंडों को कम नहीं करती हैं।

यह इस तरह से किया गया था: पहला, Uptime अंग्रेजी में परियोजना दस्तावेज प्राप्त करता है। वे सिफारिशें देते हैं, फिर यदि सब कुछ ठीक है, तो वे परियोजना के लिए एक प्रमाण पत्र जारी करते हैं। एटीडी विशेषज्ञ (यूआई प्रमाणित विशेषज्ञ) इस स्तर पर बहुत मदद कर सकते हैं, साथ ही वे गारंटी देते हैं कि परियोजना संस्थान की आवश्यकताओं को पूरा करती है। यह कागजात का एक प्रमाण पत्र है, अर्थात्, एक परियोजना।

तब सुविधा के प्रमाणीकरण प्राप्त करने के लिए निर्मित डेटा सेंटर को प्रमाणित करना अधिक कठिन होता है। परियोजना और निर्माण की मंजूरी के बाद, UI के लोग जगह पर आते हैं। वे 4 दिनों के लिए हमारे साथ रहे, असफलताओं के ढेर की नकल और नियमित रखरखाव की नकल के साथ जटिल परीक्षण किए। सफलता की कुंजी परियोजना के साथ डेटा सेंटर का पूर्ण अनुपालन है, साथ ही सेवा दल का अनुभव भी। यदि आपने पहले "प्रशिक्षण अलार्म" नहीं किया है, तो परीक्षा पास नहीं करने का एक उच्च मौका है। प्रशिक्षण कार्यक्रमों और कर्मियों की तैयारी के लिए, यदि आवश्यक हो तो एटीडी को फिर से शामिल किया जा सकता है।

सामान्य तौर पर, जब बढ़ी हुई जिम्मेदारी के डेटा केंद्र को डिजाइन और निर्माण करते हैं, तो प्रत्येक क्षेत्र में सर्वश्रेष्ठ विशेषज्ञों का होना बहुत महत्वपूर्ण है । एक नियम के रूप में, अब वे सोवियत स्कूल के इंजीनियर हैं, अत्यंत गहन ज्ञान वाले विषय हैं और बहुत अभ्यास करते हैं। एक नई पीढ़ी भी बढ़ रही है, सीआईएस में आईटी का लाभ काफी तेजी से विकसित हो रहा है। यहां तक ​​कि परियोजना टीम में, आपको व्यवसाय से एक व्यक्ति की आवश्यकता होती है जो यह सुनिश्चित करता है कि परियोजना के लक्ष्य व्यावसायिक लक्ष्यों के अनुरूप हैं। यदि आवश्यक हो तो सर्वोत्तम संसाधनों को आकर्षित करने में मदद मिलेगी।

हमें सिद्ध उपमहाद्वीपों की आवश्यकता है। काम के अलावा, आपको यह समझने की आवश्यकता है कि जटिल परीक्षण कई बार किए जाएंगे, और यह अच्छा है अगर ठेकेदार मदद करते हैं, तो यह महत्वपूर्ण है।

परियोजना में स्वयं सेवा विभाग को शामिल करना बहुत महत्वपूर्ण है, ताकि आपको लॉन्च के लिए फिर से सीखना शुरू न करना पड़े। यह अच्छा है जब ऑपरेटिंग टीम समझती है कि वह क्या और कैसे काम करता है।

वह सब है। अधिक तस्वीरें यहाँ फोटो दौरे में हैं । सुविधा का TTX www.croc.ru/dc पर उपलब्ध है।