मेगा डेटा सेंटर - नवाचार के अग्रणी

नवीनतम ईएमसी शोध के अनुसार, 2012 में उत्पन्न आंकड़ों की मात्रा 2.8 zettabytes (10 ^ 21 बाइट्स) है, और 2020 तक यह आंकड़ा 40 zettabytes तक पहुंच जाएगा, जो पिछले पूर्वानुमान 14% से अधिक है। हम सुरक्षित रूप से कह सकते हैं कि हम पहले ही "डेटा की बड़ी बाढ़" का सामना कर चुके हैं और इसका एक जवाब सबसे बड़े डेटा केंद्रों की हिस्सेदारी में वृद्धि है, जिन्हें अक्सर "मेगा-डेटा केंद्र" कहा जाता है - उनके शेयर, विभिन्न अनुमानों के अनुसार, आधुनिक सर्वरों के लिए बाजार का 25% है ।

जैसे, उदाहरण के लिए, फॉर्मूला 1 दौड़ में, नवाचारों की उत्पत्ति ठीक उसी जगह पर होती है जहां असाधारण संकेतकों की आवश्यकता होती है, लेकिन जल्द ही इनमें से कई नवाचारों को सामान्य उत्पादन कारों में लागू किया जाएगा। इसके अलावा, मेगा-डेटा केंद्र सूचना प्रौद्योगिकी में नवाचार के मुख्य केंद्रों में से एक हैं। कई कंपनियां "बड़े डेटा", निजी क्लाउड और कंप्यूटिंग क्लस्टर के प्रसंस्करण के लिए अपने समाधानों में सुपर-बड़े डेटा केंद्रों के उदाहरणों का उपयोग करती हैं। मेगा-डीपीसी स्केलिंग, बढ़ती दक्षता और लागत-प्रभावशीलता के लिए अत्याधुनिक समाधानों के लिए परीक्षण मैदान हैं।


ज्यादातर, मेगासेंटर्स का डाटा प्रोसेसिंग Apple, Google, Facebook जैसी दिग्गज कंपनियों द्वारा बनाया जाता है (एक अधिक रोचक और दुर्लभ उदाहरण है, जैसे कि Tencent और Baidu जैसी चीनी कंपनियां), इसलिए ये डेटा सेंटर अत्यधिक विशिष्ट नहीं हैं। इन डेटा केंद्रों के सर्वर डेटा स्टोरेज, डीबीएमएस रखरखाव और वेब सर्वर प्रदान करने और कंपनियों के लिए और अधिक विशिष्ट कार्य करने में लगे हुए हैं: खोज, विश्लेषण प्रश्नों का विश्लेषण, एनालिटिक्स, और इसी तरह।



इस तरह के DC का पैमाना अचरज भरा है - इनमें आमतौर पर 200,000 से 1,000,000 सर्वर होते हैं, जिनमें 10 मिलियन ड्राइव स्थापित होते हैं। सर्वर के कार्यों के आधार पर, उनमें केवल बूट करने योग्य डिस्क, असुरक्षित डिस्क, या महत्वपूर्ण डेटा के लिए संरक्षित RAID सरणियाँ हो सकती हैं। अक्सर डिस्क सबसिस्टम के काम में तेजी लाने के लिए, फ्लैश-मेमोरी पर आधारित हाइब्रिड समाधान का उपयोग किया जाता है, उदाहरण के लिए, जैसे कि एलएसआई निट्रो, जो मैंने पहले ही एक पिछले लेख [लिंक] में लिखा था।

लगभग 200 से 2,000 नोड्स के साथ सर्वर आमतौर पर क्लस्टर किए जाते हैं। ऐसे क्लस्टर डिज़ाइन किए गए हैं ताकि आप विफलता की स्थिति में समस्या नोड को जल्दी से डिस्कनेक्ट कर सकें और शेष लोगों के बीच लोड को फिर से वितरित कर सकें। यह आमतौर पर सॉफ्टवेयर स्तर पर किया जाता है।



चूंकि एक मेगा-डेटा केंद्र में एक एप्लिकेशन अक्सर हजारों और सैकड़ों हजारों नोड्स पर चलता है, नोड्स के बीच सूचना हस्तांतरण की गति बहुत महत्वपूर्ण हो जाती है। इन समस्याओं को दूर करने के लिए, बड़े डेटा सेंटर 10 GbE और 40 GbE तकनीकों का उपयोग करते हैं। चूंकि मेगा-डेटा सेंटर नेटवर्क आमतौर पर स्थिर होते हैं (यह लेनदेन प्रसंस्करण समय को कम करने में भी मदद करता है), एक सॉफ़्टवेयर-कॉन्फ़िगर नेटवर्क (एसडीएन) अक्सर उपयोग किया जाता है।

वर्चुअलाइजेशन का उपयोग शायद ही कभी किया जाता है, मुख्य रूप से छवियों के कार्यान्वयन और दोहराव को सरल बनाने के लिए। सॉफ्टवेयर, सबसे अधिक बार खुला स्रोत, इसके शोधन और अनुकूलन के लिए अनुमति देता है (मेगा-डेटा केंद्र आम तौर पर विशिष्ट कंपनियों के विशिष्ट उद्देश्यों के लिए बनाई गई घटना) हैं।

इस तरह के डेटा केंद्रों में, सब कुछ (निश्चित रूप से, एक निश्चित सीमा तक) को अस्वीकार करके परिचालन लागत को कम करने का सवाल अविश्वसनीय रूप से तीव्र है। अनुकूलन का लक्ष्य उन सभी चीजों को समाप्त करना है जो मुख्य कार्यों से संबंधित नहीं हैं, भले ही यह "मुफ्त" हो जाए, क्योंकि शुरू में एक मुक्त समाधान भी आगे की परिचालन लागत को जन्म दे सकता है। एक सरल उदाहरण: यदि आप प्रत्येक सर्वर में एक अनावश्यक एलईडी जोड़ते हैं, तो यदि आपके पास 200,000 सर्वर हैं, तो एलईडी की लागत लगभग $ 10,000 होगी, और भले ही ये एलईडी "मुक्त" हों - ऊर्जा की खपत लगभग 20 kW बढ़ जाएगी।



मेगा डाटा सेंटर के मुद्दे

सामान्य तौर पर, समस्याओं के संदर्भ में, ऐसे डेटा सेंटर उनके "छोटे भाइयों" के समान होते हैं: उन्हें अधिकतम गति पर भारी अनुप्रयोगों को निष्पादित करने की क्षमता प्रदान करने की भी आवश्यकता होती है, स्केलिंग और लागत अनुकूलन भी महत्वपूर्ण है। एकमात्र अपवाद यह है कि आकार के कारण, कोई त्रुटि, समस्या या अक्षमता काफी अधिक महंगी है।

ऐसी ही एक समस्या है डिस्क फेल्योर। प्रतिस्थापन की कम लागत के बावजूद, भारी विफलता एक गंभीर समस्या है जो व्यक्तिगत समूहों के संचालन में गंभीर खराबी का कारण बनती है, और कभी-कभी पूरे डेटा सेंटर। अभिलेखीय भंडारण, जो आमतौर पर इस समस्या को हल करने के लिए उपयोग किया जाता है, बहुत सारी बिजली और अन्य संसाधनों का उपभोग करते हैं, भले ही उन पर जानकारी का उपयोग अनजाने में किया जाता है। यह विशेष रूप से डेटा वॉल्यूम की वृद्धि के साथ ध्यान देने योग्य है, जो कभी-कभी पेटाबाइट्स में गणना नहीं की जाती है, लेकिन एक्सैबाइट्स।



मेगा डेटा केंद्रों से सबक

जैसा कि मैंने ऊपर लिखा था, अतिरिक्त-बड़े डेटा केंद्रों के कई वास्तुशिल्प समाधान छोटे डेटा केंद्रों के बीच अपनी जगह पाते हैं, क्योंकि वे खर्च किए गए संसाधनों और कंप्यूटिंग शक्ति के अनुपात में अविश्वसनीय दक्षता प्राप्त करने की अनुमति देते हैं। ये सिद्धांत क्या हैं?

पहला, और शायद मुख्य एक, बुनियादी ढांचे को यथासंभव सजातीय (सजातीय) बनाने की आवश्यकता है। इस तरह के बुनियादी ढांचे को बनाए रखना और पैमाने पर करना बहुत आसान है। लागत अनुकूलन जहां यह महत्वपूर्ण नहीं है, आपको उन फंडों को मुक्त करने की अनुमति देता है जिन्हें अधिक उन्नत वास्तुशिल्प समाधानों में निवेश करने की आवश्यकता होती है, उदाहरण के लिए, वे जो आपको न्यूनतम हस्तक्षेप के साथ रखरखाव करने की अनुमति देंगे।

दूसरा सिद्धांत यह है कि "पाँच नौ" के स्तर पर भी विश्वसनीयता बनाए रखने का प्रयास - एक बड़े डेटा सेंटर के लिए यह महंगा है, और आम तौर पर अवास्तविक है। इसके बजाय, बुनियादी ढांचे को डिजाइन करना आवश्यक है ताकि उपतंत्र विफलताओं के अधीन हो सकें, लेकिन एक पूरे के रूप में पूरी प्रणाली काम करना जारी रखे। आवश्यक सॉफ्टवेयर और हार्डवेयर समाधान पहले से ही बाजार में उपलब्ध हैं, लेकिन अभी तक वे कॉर्पोरेट सिस्टम में विशिष्ट नहीं हैं।