फेसबुक - सर्वर से 8 साल में डेटा सेंटर के नेटवर्क तक

लेख सबसे व्यावसायिक रूप से सफल स्टार्टअप्स में से एक के डेटा केंद्रों पर चर्चा करेगा, जो तेजी से विकसित हो रहा है और जिसके नेटवर्क में पृथ्वी की कुल आबादी का 1/7 भाग शामिल है।

शायद, कुछ लोगों ने 2004 में सोचा था कि विश्वविद्यालय के भीतर संचार के लिए एक मामूली वेबसाइट बनाने के लिए हार्वर्ड के छात्रों का विचार 1 अरब से अधिक लोगों के दर्शकों के साथ वैश्विक सामाजिक नेटवर्क में बदल जाएगा। कंपनी का आईटी इन्फ्रास्ट्रक्चर भी काफी तेजी से बढ़ा: यदि 2004 में केवल एक लीज़्ड सर्वर था, तो पांच साल बाद फेसबुक सबसे अधिक देखी जाने वाली साइट बन गई, हिट्स की संख्या 1 ट्रिलियन प्रति माह से अधिक (Google डबल क्लिक के अनुसार) तक पहुंच गई। और इसके ट्रैफ़िक का वैश्विक नेटवर्क पर सभी इंटरनेट ट्रैफ़िक में लगभग 9 प्रतिशत का योगदान है, जो रोज़ाना 300 मिलियन डाउनलोड करता है और फेसबुक कनेक्ट प्लेटफ़ॉर्म पर चल रहे 550 हज़ार से अधिक अनुप्रयोगों का आधार है।

इस तरह की गतिविधि को बनाए रखने के लिए, आज कंपनी के पास तीन सक्रिय डेटा केंद्र हैं और एक निर्माण प्रक्रिया में है। इसके अलावा, नौ डेटा केंद्रों में क्षेत्रों को पट्टे पर दिया जाता है - अब तक, फेसबुक पट्टे की जगह को मना नहीं कर सकता है। सांता क्लारा में स्थित सिलिकॉन वैली के छह डेटा केंद्रों में किराए के लिए क्षेत्र (कोरसाइट रियल्टी डेटा सेंटर में 4.5 हजार वर्ग मीटर का किराया, टेरमार्क वर्ल्डवाइड (TMRK), इक्विनिक्स (EQIX)) और सैन जोस (2 हजार वर्ग से अधिक) वर्जीनिया में तीन डेटा सेंटरों में मीटर (फॉर्च्यून डेटा सेंटरों में), (डिजिटल रियल्टी ट्रस्ट डेटा सेंटरों में 12.5 हजार वर्ग मीटर और ड्यूपॉन्ट फेब्रोस टेक्नोलॉजी डेटा सेंटर क्षेत्रों का 15%), साथ ही टेलीफ़ोनिटी ग्रुप के स्वामित्व वाले यूरोपीय डेटा सेंटर में।

पहला फेसबुक स्वयं का डेटा सेंटर ओरेगन (यूएसए) में बनाया गया था, 2010 में छोटे शहर प्रीनविले में (फोटो 1)। एक साल बाद, एक दूसरा डुप्लिकेट डेटा सेंटर फ़ॉरेस्ट सिटी (फोटो 2), उत्तरी कैरोलिना में बनाया गया था। वास्तव में, यह प्राइमविले में डेटा सेंटर का एक आधुनिक संस्करण है - इसने पहले डेटा सेंटर के संचालन के अनुभव को ध्यान में रखा। प्राइमविले में डेटा सेंटर के निर्माण के पहले चरण की क्षमता 28 मेगावाट है (साइट को तीन चरणों में विस्तारित किया जाएगा - 78 मेगावाट तक, जिसके लिए डेटा सेंटर के बगल में एक और हैंगर बनाया जा रहा है, लेकिन कार्यालय स्थान के बिना)। फॉरेस्ट सिटी में दूसरा डेटा सेंटर, एक अधिक मामूली विस्तार है: 40 मेगावाट तक। सभी डेटा केंद्र एक एकल क्लस्टर में एकजुट होते हैं, सामग्री वितरण नेटवर्क के रूप में कार्य करते हैं: उपयोगकर्ता के अनुरोध का विश्लेषण करते समय, इसके लिए सबसे छोटा नेटवर्क पथ निर्धारित किया जाता है, और सामग्री को निकटतम नोड से दिया जाता है, जो प्रतिक्रिया समय को काफी कम कर देता है, नेटवर्क पर मध्यवर्ती संचरण नोड्स की संख्या और पारगमन। यातायात।


फोटो 1. प्रीनविल में डेटा सेंटर


फोटो 2. फॉरेस्ट सिटी में डेटा सेंटर

औद्योगिक क्षेत्र के पास, शहर से दूर डेटा सेंटर बनाए गए थे। पहला तथ्य जो अनैच्छिक रूप से ध्यान आकर्षित करता है, वह है ऊर्जा दक्षता की राशि: प्राइमविल में डेटा केंद्रों के लिए PUE 1.07 और वन सिटी में डेटा केंद्रों के लिए 1.09। फेसबुक के अनुसार, यह परिणाम बिजली के संचरण और परिवर्तन के दौरान कम नुकसान के कारण हासिल किया गया था, साथ ही डेटा सेंटर के अंदर हवा के उच्च ऑपरेटिंग तापमान (एक ठंडे गलियारे में रैक में +35 ° C की अनुमति है)।

अनुरोधों के भूगोल का विश्लेषण करने के बाद, जिसमें से 70% यूरोप के लिए जिम्मेदार थे, फेसबुक ने संयुक्त राज्य के बाहर एक और डेटा सेंटर बनाने का फैसला किया, जो 2011 में किया गया था। एक क्षेत्र को ठंडे जलवायु वाले क्षेत्र में चुना गया था (स्वीडन में Luleå शहर के आसपास के क्षेत्र में औसत वार्षिक तापमान केवल 1.3 ° C है - यह शहर आर्कटिक सर्कल से केवल 100 किलोमीटर की दूरी पर है), जिस पर एक इमारत 15 मीटर ऊंची और 27 हजार वर्ग मीटर का एक क्षेत्र था। मीटर (फोटो 3)। पास की लूल नदी और उस पर बना पनबिजली स्टेशन, जिससे पानी की आपूर्ति और बिजली आपूर्ति की समस्या का समाधान डाटा सेंटर में संभव हो सका। पांच स्वतंत्र दूरसंचार ऑपरेटरों के संचार चैनल डेटा सेंटर से जुड़े हैं। परियोजना को केवल एक वर्ष में लागू किया गया था, जबकि साइट की क्षमता 129 मेगावाट है।

यह ज्ञात है कि एक और प्रमुख डेटा सेंटर फेसबुक ताइवान में बना रहा है।


फोटो। 3. लुलिया में डेटा सेंटर

कार्यान्वयन सुविधाएँ

डेटा केंद्रों में, पारंपरिक यूपीएस का उपयोग नहीं किया जाता है - बिजली की आपूर्ति इकाइयाँ वोल्टेज स्थिरीकरण फ़ंक्शन को संभालती हैं। ताइवान की कंपनी डेल्टा इलेक्ट्रॉनिक्स और अमेरिकन पावर वन द्वारा वितरित, वे एक विस्तारित पावर रेंज में आपूर्ति वोल्टेज के लिए अनुकूलित और रेटेड हैं। कंपनी के अनुसार, आपूर्ति वोल्टेज की एक व्यापक ऑपरेटिंग रेंज स्टेबलाइजर्स की आवश्यकता को समाप्त करती है, और चार्जर के साथ बैटरी को पंक्तियों के बीच रैक में रखा जाता है। प्रत्येक बैटरी रैक में 5 श्रृंखलाओं में 20 बैटरी जुड़ी होती हैं, जो आउटपुट में 48 वी का एक निरंतर वोल्टेज बनाती हैं (फोटो 4)।

सर्वर रैक में एक साथ दो बिजली आपूर्ति बसें होती हैं: बैकअप बैटरी पावर के लिए 48V डीसी बस और एक एसी बस जो सीधे 0.4kV बिजली आपूर्ति से जुड़ती है। अलमारियाँ में स्थापित उपकरण एक ही समय में इन बसों से जुड़े होते हैं - इस प्रकार, एसी बसों पर बिजली की विफलता की स्थिति में, लोड को बैटरी रैक से संचालित किया जाएगा।


फोटो 4. बैटरी कैबिनेट सर्वर रैक के बीच स्थित है

बिजली के तारों को ट्रे में उठाए गए फर्श के नीचे रखा जाता है, कम-वोल्टेज केबल को अलमारियाँ के ऊपर ठंडे गलियारों में ओवरपास पर रखा जाता है। डेटा सेंटर में सभी लाइटिंग को एलईडी-लाइट्स (फोटो 5) का उपयोग करके प्रदान किया जाता है, लेकिन गर्म गलियारों में कोई प्रकाश व्यवस्था नहीं है - कंपनी के अनुसार, यह आवश्यक नहीं है, क्योंकि कनेक्टर्स के सभी रखरखाव और कनेक्शन सामने से विशेष रूप से होते हैं।


फोटो 5. डेटा सेंटर की लाइटिंग कॉर्पोरेट रंग में है

डेटा सेंटर में, एक पारंपरिक शीतलन प्रणाली अभी भी स्थापित है, लेकिन इसका उपयोग केवल आपातकालीन मामलों में किया जाता है। मुख्य एयर कंडीशनिंग सिस्टम कई वायु तैयारी कक्षों के साथ प्रत्यक्ष फ्रीकोलिंग है, जिसके माध्यम से हवा बाहर निकलती है (चित्र 1)।


योजना 1. फेसबुक डेटा सेंटर के शीतलन का योजनाबद्ध आरेख

प्रारंभ में, बाहर से हवा को दूसरे टियर पर एयर इंटेक द्वारा अंदर ले जाया जाता है और तैयारी कक्ष में प्रवेश करता है, जहां इसे फ़िल्टर्ड किया जाता है और आंशिक रूप से गर्म हवा के साथ मिलाया जाता है, जिसकी मात्रा को स्वचालित शटर का उपयोग करके नियंत्रित किया जाता है। उसके बाद, हवा को तथाकथित प्रशीतन पैनलों के माध्यम से पारित किया जाता है। दरअसल, रेफ्रिजरेशन पैनल एक ह्यूमिडिफिकेशन चैंबर होते हैं, जिसमें कई पाइप उच्च दबाव वाले नोजल के साथ डिस्टिल्ड पानी का छिड़काव करते हैं, जिससे आर्द्रता बढ़ती है और शुद्ध हवा का तापमान कम होता है। ताकि महीन नमी बिजली के संवाहक के रूप में काम न करे, छिड़काव किया हुआ पानी पहले से डिस्टिल्ड होता है।
इस खंड के आउटपुट में झिल्ली फिल्टर होते हैं जो नमी के बड़े कणों को काटते हैं (फोटो 6)। उसके बाद, हवा को शक्तिशाली प्रशंसकों द्वारा चूसा जाता है और इंजन के कमरे में पुनर्निर्देशित किया जाता है, जहां सर्वर अलमारियाँ एक पृथक गर्म गलियारे के सिद्धांत द्वारा एकजुट होती हैं। ऊपर से नीचे तक ठंडी हवा की आपूर्ति आकस्मिक नहीं है: ठंडी हवा भारी होती है, इसलिए स्वतंत्र कर्षण का प्रभाव होता है, जो वेंटिलेशन शक्ति पर बचत करने की अनुमति देता है। पृथक गर्म गलियारों से गर्म हवा निकलती है, इसका एक हिस्सा तैयारी कक्ष में चला जाता है, जहां इसे फिर से ठंडी हवा के साथ मिलाया जाता है, और बाकी को प्रशंसकों द्वारा फेंक दिया जाता है। लेकिन यहां यह इतना सरल नहीं है: हवा हवादार मुखौटा और छत को गर्म करने के लिए जाती है। अपशिष्ट जल को एक विशेष टैंक में एकत्र किया जाता है और उपचारित किया जाता है।


फोटो 6. वायु तैयारी गलियारा: आर्द्रीकरण के बाद, हवा को शक्तिशाली प्रशंसकों द्वारा चूसा जाता है और इंजन कक्ष में खिलाया जाता है।

दिलचस्प है, सौर पैनलों और पवन चक्कियों का उपयोग डेटा सेंटर में वैकल्पिक ऊर्जा स्रोतों के रूप में किया जाता है (फोटो 7)। लेकिन, यहां तक ​​कि अपनी क्षमता का मूल्यांकन करने वाले ऑफहैंड, हम यह कह सकते हैं कि वे केवल ऊर्जा उपभोक्ताओं के एक छोटे से हिस्से को शक्ति प्रदान करते हैं, लेकिन पूरे डेटा सेंटर को नहीं। यही कारण है कि डेटा सेंटर बिजली के बैकअप स्रोत के रूप में उसी पारंपरिक डीजल जनरेटर का उपयोग करता है।


फोटो 7. सौर पैनल पूरे डेटा सेंटर में मौजूद हैं

आईटी कर्मी इलेक्ट्रॉनिक सहायक (फोटो 8) का उपयोग करके डेटा केंद्रों के आसपास स्वतंत्र रूप से घूमते हैं। यह एक इलेक्ट्रिक ड्राइव वाला एक मोबाइल वर्कस्टेशन है, जो उपकरणों के एक कन्वेयर, एक रैक और एक डेस्कटॉप के रूप में कार्य करता है, जिस पर आप लैपटॉप रख सकते हैं।


फोटो 8. कार्ट आईटी - आपकी उंगलियों पर आपको जो कुछ भी चाहिए

महत्वपूर्ण उपकरणों के भौतिक प्रतिबंध के लिए डेटा केंद्रों में क्षेत्र हैं - एयर साइनेज खंड, प्रवेश द्वार जिसमें कड़ी निगरानी लॉगिंग के साथ घड़ी के चारों ओर निगरानी की जाती है। इन क्षेत्रों में प्रवेश करने वाले सभी कर्मचारी नियंत्रण कंगन पहनते हैं, जो पहचानकर्ता हैं।

Luleå में उत्तरी डेटा केंद्र में, जब उपकरण वितरित किया जाता है और डेटा केंद्र में लाया जाता है, तो एक बड़ा तापमान अंतर होता है, जो उपकरण पर नमी संक्षेपण की ओर जाता है। इलेक्ट्रॉनिक्स की विफलता को बाहर करने के लिए, वेस्टिब्यूल लॉक में एक विशेष सुखाने कक्ष लागू किया जाता है - त्वरित सुखाने के लिए उतारने के तुरंत बाद उपकरण यहां मिलता है, और उसके बाद ही इसे मशीन रूम में स्थापित किया जाता है।

सर्वर और सॉफ्टवेयर

परंपरागत रूप से, बड़े डेटा केंद्रों के लिए, सर्वरों की सही संख्या के बारे में जानकारी का खुलासा नहीं किया गया है, लेकिन यह ज्ञात है कि 2008 में यह आंकड़ा 10 हजार सर्वर था, 2009 में - 30 हजार, 2010 में - 60 हजार जानकारी के अनुसार। विभिन्न स्रोतों से, सर्वरों की वर्तमान संख्या 120 से 180 हजार है।

फेसबुक, अन्य बड़ी कंपनियों की तरह, अपने तरीके से जाने और न केवल अपने स्वयं के विशिष्ट सर्वर को विकसित करने का फैसला किया, बल्कि एक संपूर्ण मंच: ओपन कम्प्यूट प्रोजेक्ट नामक एक कार्यक्रम, जिसे अप्रैल 2011 में लॉन्च किया गया, जिसमें सर्वर भराई और दोनों के लिए खुला विनिर्देश शामिल हैं। रैक और बिजली व्यवस्था।

Intel और AMD दोनों को प्रक्रियाओं के रूप में उपयोग किया जाता है। संयमी मदरबोर्ड डिजाइन। इसे ताइवानी कंपनी क्वांटा कंप्यूटर द्वारा विकसित किया गया था। भविष्य में, एआरएम प्रोसेसर का उपयोग करने की संभावना बताई गई है, लेकिन अभी तक यह केवल विकास के तहत एक प्रयोगात्मक तकनीक है।

सर्वर 1.5 यू (फोटो 9) के एक गैर-मानक फॉर्म फैक्टर का उपयोग करता है, जिससे बड़ी हीट एक्सचेंजर्स और प्रशंसकों के उपयोग की अनुमति मिलती है (1U सर्वर के लिए मानक 40 मिमी के बजाय 60 मिमी)। सर्वर में कुछ भी कम नहीं है: सभी पोर्ट और पावर कनेक्टर फ्रंट पैनल पर प्रदर्शित होते हैं। मानक 19 के बजाय सर्वर की चौड़ाई 21 इंच है। सभी फास्टनिंग्स को क्लिप का उपयोग किए बिना, शिकंजा के बिना किया जाता है।


फोटो 9. शीर्ष हार्ड ड्राइव के साथ फेसबुक सर्वर, अतिरिक्त हार्ड ड्राइव के बिना और एक प्रोसेसर पर रेडिएटर को हटा दिया गया।

दिलचस्प रूप से संगठित बैकअप सिद्धांत। उदाहरण के लिए, ओरेगन डेटा सेंटर में, डेटा स्टोरेज सिस्टम डेटा सेंटर में एक अलग इमारत में स्थित हैं। वैसे, इमारत खुद इलेक्ट्रोस्टैटिक इन्सुलेशन के साथ बाहरी इन्सुलेशन का उपयोग करती है, यांत्रिक क्षति और धूल से सुरक्षा। डेटा संग्रहण प्रणाली के उपकरण थोड़े समय के लिए जुड़े होते हैं - केवल सिंक्रनाइज़ेशन के समय, जिसके बाद यह बंद हो जाता है। इसके अलावा, ऐसी प्रणालियों की शक्ति केवल स्वायत्त स्रोतों से ही निष्पादित की जाती है।

सॉफ्टवेयर प्लेटफॉर्म के बारे में बस कुछ शब्द। ओपन सोर्स सॉफ्टवेयर का इस्तेमाल किया। साइट PHP में लिखी गई है, और MySQL इंजन डेटाबेस के रूप में उपयोग किया जाता है। साइट के काम को गति देने के लिए, हमारी स्वयं की टीम द्वारा विकसित हिपहॉप इंजन का उपयोग किया जाता है, जो गति के लिए PHP कोड को C ++ में कनवर्ट करता है। MySQL पर एक संकुल डेटाबेस के संचालन के लिए, एक कैशिंग तंत्र का उपयोग किया जाता है।
फेसबुक, तेजी से विकसित और प्रगतिशील स्टार्टअप होने के नाते, प्रयोग करने से डरने के बिना दिलचस्प समाधान बनाता है और साथ ही हर चीज के लिए वैश्विक अर्थव्यवस्था के मार्ग का अनुसरण नहीं करता है। फेसबुक डेटा सेंटर सौंदर्यवादी रूप से प्रसन्न और एक ही समय में कार्यात्मक और तकनीकी हैं। यह आश्चर्य की बात है कि कैसे एक कंपनी है जिसके पास डेटा सेंटर बनाने का अनुभव नहीं है, भले ही तीसरे पक्ष के विशेषज्ञों का उपयोग कर रहा हो, कई उन्नत समाधान पेश करके अपने पहले डेटा सेंटर का एहसास कर सके। शायद यह पूरा रहस्य है - एक स्पष्ट लक्ष्य पर केंद्रित केवल उपयोगी नवाचारों को पेश करने के लिए।

लेखक: कॉन्स्टेंटिन कोवलेंको
पत्रिका TsODy.RF №2 फरवरी