डाटा सेंटर इकोसिस्टम का पुनर्निर्माण

हाल ही में, LSI में एक सिस्टम आर्किटेक्ट, रोब ओबर ने चीनी पत्रिका के सीईओ और सीआईओ को एक विस्तृत साक्षात्कार दिया, जिसमें कई दिलचस्प सवाल उठाए गए थे। मैं इस साक्षात्कार के प्रमुख बिंदुओं का अनुवाद आपके ध्यान में लाना चाहता हूं, क्योंकि रोब बहुत स्पष्ट रूप से उद्योग के भविष्य का वर्णन करता है।

CEO और CIO: हाल के वर्षों में, इंटरनेट कंपनियों ने अत्यधिक स्केलेबल डेटा केंद्र बनाए हैं। आम कंपनियों के विपरीत, आईटी बाजार के खिलाड़ी डेटा सेंटरों के लिए प्रौद्योगिकियों के विकास में नेताओं की भूमिका निभाते हैं। एक उद्योग के नजरिए से, तीन प्रौद्योगिकी डेटा सेंटर बाजार के लिए महत्वपूर्ण हैं? उनका वर्णन कीजिए।

रॉब: सॉफ्टवेयर उद्योग, हार्डवेयर उद्योग और विशुद्ध रूप से इंजीनियरिंग विषय सुपर-बड़े डेटा केंद्रों में टकराते हैं। इसलिए, नवाचारों की संख्या इतनी महान है कि केवल तीन को चुनना बहुत मुश्किल है। मैं कहूंगा कि सबसे महत्वपूर्ण हार्डवेयर और बुनियादी ढांचे में नवाचार हैं, और यदि आपको तीन चुनने की आवश्यकता है, तो मैं निम्नलिखित बिंदुओं को इंगित करूंगा:

स्वायत्त व्यवहार और प्रबंधन

एक Microsoft वास्तुकार ने एक बार मुझसे कहा था: "अगर हम अपने डेटा केंद्रों के लिए प्रशासकों को काम पर रखते हैं जैसा कि नियमित कंपनियां करती हैं, तो हमें दुनिया के सभी प्रशासकों को काम पर रखना होगा।" अब, Microsoft के डेटा केंद्रों में, लगभग एक मिलियन सर्वर हैं। अति-स्केलेबल डेटा केंद्रों को स्वचालित, स्व-प्रबंधन और अक्सर स्व-कार्यान्वयन बुनियादी ढांचे के विकास के विस्तार के लिए आवश्यक है। इस क्षेत्र में अतिरिक्त-बड़े डेटा सेंटर अग्रणी हैं, उनकी मदद से, विशेषज्ञ अपनी गलतियों से सीखते हैं, प्रथाओं का विकास करते हैं जो एक बेहतर कार्य / डॉलर अनुपात प्राप्त करने की अनुमति देते हैं। ये अत्यधिक विशिष्ट प्रथाएं हैं, लेकिन अधिक से अधिक आईटी उद्योग के खिलाड़ी इन्हें अपनाने लगे हैं। ओपनस्टैक इस बात का सबसे अच्छा उदाहरण है कि कैसे विशिष्ट ज्ञान और कौशल "पैक" किए जाते हैं और पूरे उद्योग में व्यापक रूप से वितरित किए जाते हैं। LSI में, हम हाइपर-स्केलेबल और स्वचालित समाधानों के साथ काम करते हैं ताकि सबसे अच्छा स्वायत्त बुनियादी ढांचा तैयार किया जा सके।

डेटा सेंटर या व्यक्तिगत मशीन स्तर पर उच्च उपलब्धता

जैसे-जैसे सिस्टम बड़े होते जाते हैं, वे अधिक घटक बन जाते हैं, विफलता के अधिक बिंदु, और यह जटिल हो जाता है और उनकी उपलब्धता को बनाए रखने की लागत को बढ़ाता है। जैसे-जैसे भंडारण की मात्रा बढ़ती है, डिस्क अधिक बार विफल होने लगती हैं। वे बस अधिक बार उपयोग किए जाते हैं। और यह लागत और जटिलता को कम करने के लिए डिज़ाइन किए गए निरंतर दबाव की पृष्ठभूमि के खिलाफ है। समय के साथ, मेगा-डेटा केंद्र बहुत बढ़ गए हैं, कभी-कभी सैकड़ों-हजारों सर्वरों में, अक्सर अलग-अलग डेटा केंद्रों में वितरित किए जाते हैं, जिससे निरपेक्ष विश्वसनीयता बढ़ाने के लिए समाधान बनाने की आवश्यकता होती है, जबकि व्यक्तिगत सिस्टम घटक सस्ता, सरल और कम विश्वसनीय बन गए। इस सभी ने "बादलों" में कम लागत वाले घटकों के उपयोग की अनुमति दी, उन्हें एक विश्वसनीय संसाधन में बदल दिया।

ये समाधान भी समय पर दिखाई दिए, क्योंकि कई संगठनों ने विभिन्न डेटा केंद्रों में अपने डेटा को पूरी तरह से सुलभ रखने की आवश्यकता महसूस की।

पारंपरिक दृष्टिकोण, 99.999% पर सर्वर उपलब्धता की आवश्यकता होती है, यह व्यावहारिक दृष्टिकोण का रास्ता दे रहा है, जो कि पूरे डेटा सेंटर में मैक्रो स्तर पर उच्च उपलब्धता बनाए रखना है। यह दृष्टिकोण व्यक्तिगत सिस्टम और घटकों की विफलता के लिए अनुमति देता है जब तक कि यह पूरे डेटा सेंटर को धमकी नहीं देता। बेशक, यह दृष्टिकोण अभी तक पूरी तरह से विकसित नहीं हुआ है। LSI मेगा-डीपीसी और ओईएम के साथ काम करता है ताकि बेहतर परिचालन दक्षता और दोष सहिष्णुता तकनीक प्राप्त की जा सके, जो पूरे डेटा सेंटर के लिए विश्वसनीय उच्च उपलब्धता परत बनाए रखते हुए व्यक्तिगत घटकों की विफलता से नुकसान को कम करेगा।

बड़ा डेटा

इस शब्द का प्रयोग अक्सर किया जाता है। यह विश्वास करना कठिन है कि कुछ साल पहले यह अस्तित्व में नहीं था। Hadoop उद्योग के लिए एक वास्तविक उपहार था - Google MapReduce और Google फ़ाइल सिस्टम को कॉपी करने का एक खुला स्रोत प्रयास - वास्तव में हमारी दुनिया अविश्वसनीय रूप से तेजी से बदल गई। आज, Hadoop और अन्य बड़े डेटा एप्लिकेशन हमें खोज, एनालिटिक्स, विज्ञापन, स्केलेबल, विश्वसनीय फ़ाइल सिस्टम, आनुवंशिक अनुसंधान और बहुत कुछ प्रदान करते हैं, यहां तक ​​कि Apple सिरी जैसी सेवाएं भी Hadoop का उपयोग करती हैं। बिग डेटा ने एनालिटिक्स की अवधारणा को सांख्यिकीय सरलीकरण से सभी डेटा के विश्लेषण में बदल दिया है। और यह पहले से ही अनुसंधान में कई सफलताएं प्रदान की है जिसमें पैटर्न और पैटर्न अनुभवजन्य रूप से खोजे जाते हैं, सैद्धांतिक रूप से नहीं।

सामान्य तौर पर, मुझे लगता है कि बड़ा डेटा इस सदी की सबसे परिवर्तनकारी प्रौद्योगिकियों में से एक बन गया है। बिग डेटा ने स्टोरेज कंप्यूटिंग से डेटा केंद्रों का ध्यान स्थानांतरित कर दिया है। हमारे हार्ड ड्राइव नियंत्रक, SAS (सीरियल संलग्न SCSI) एडेप्टर, और RAID नियंत्रक इस विकास के केंद्र में हैं। इसका अगला चरण ग्राफ एनालिटिक्स का व्यापक उपयोग होगा, जो आपको डेटा के बीच संबंध का विश्लेषण करने की अनुमति देगा, और केवल डेटा ही नहीं।

सीईओ और सीआईओ: क्लाउड कंप्यूटिंग, मोबाइल संचार और बड़े डेटा को अपनाने के साथ, उत्पादन में पारंपरिक आईटी पारिस्थितिकी तंत्र बदल रहा है। पारिस्थितिक तंत्र के साथ LSI के वर्तमान इंटरैक्शन में तीन मुख्य परिवर्तन क्या हैं? पारंपरिक पारिस्थितिक तंत्र में एलएसआई विभिन्न संबंधों में परिवर्तन कैसे देखते हैं? क्या नए कनेक्शन विचार करने लायक हैं? कृपया उदाहरण दें।

रोब: क्लाउड कंप्यूटिंग और मोबाइल उपकरणों से डेटा की उपलब्धता में पहले से ही काफी बदलाव आया है और यह हमारे उद्योग और पारिस्थितिकी तंत्र को बदलना जारी रखेगा। वास्तव में, कॉर्पोरेट बाजार (ग्राहक, ओईएम, प्रौद्योगिकियां, अनुप्रयोग और अनुप्रयोग) 10 से 20 वर्षों तक काफी स्थिर रहे, लेकिन जैसे ही क्लाउड कंप्यूटिंग सर्वर बाजार का एक महत्वपूर्ण हिस्सा बन गया, उसने तुरंत पारिस्थितिकी तंत्र के प्रतिभागियों को प्रभावित किया जैसे कि LSI।

समय: यह इंटेल के सुव्यवस्थित का पालन करने के लिए पर्याप्त नहीं है, जैसे क्लॉकवर्क उत्पाद पोर्टफोलियो। पहले, डेटा सेंटर विकास चक्र 3 से 5 साल तक थे। लेकिन ये चक्र छोटे होते जा रहे हैं। अब समाधानों की आवश्यकता 6 महीने के करीब आ रही है, हार्डवेयर आपूर्तिकर्ताओं को ऐसे छोटे विकास चक्रों के साथ काम करने के लिए मजबूर करना।

मेगा डीपीसी को ग्राहकों की जरूरतों को पूरा करने के लिए संसाधनों को जल्दी से बनाने की क्षमता की भी आवश्यकता होती है। नतीजतन, यह डेटा केंद्रों में है कि नए आर्किटेक्चर, समाधान और विनिर्देशों को इंटेल रोडमैप के पारंपरिक बंधन के बिना पेश किया जाता है। यह पारिस्थितिकी तंत्र को भी बाधित करता है।

अंतिम उपयोगकर्ता: हाइपर-स्केलेबल डेटा केंद्र अब पारिस्थितिकी तंत्र में एक महत्वपूर्ण ग्राहक की भूमिका निभाते हैं। कभी-कभी उनका एकल आदेश सर्वर बाजार का 5% तक बना सकता है। इस तथ्य के बावजूद कि ओईएम अभी भी अविश्वसनीय रूप से महत्वपूर्ण हैं, वे अब इतनी बड़ी तैनाती नहीं करते हैं और इतनी तेजी से विकास नहीं कर रहे हैं। यह इस तथ्य की ओर जाता है कि व्यक्तिगत घटकों या उप-प्रणालियों के आपूर्तिकर्ता अक्सर वित्तीय रूप से जीतते हैं यदि वे वास्तविक समस्या के लिए एक अद्वितीय (या कम से कम प्रभावी) समाधान पेश करने में सक्षम होते हैं। यह इस तथ्य की ओर जाता है कि मुख्य लाभ बड़े ओईएम से मजबूत, तेज इनोवेटर्स में जाता है। संभावित रूप से, यह पूरे पारिस्थितिकी तंत्र के लिए लाभ में कमी का कारण बन सकता है, जो नवाचार और पुनर्निवेश दरों की वृद्धि की धमकी देगा।

नए खिलाड़ी: परंपरागत रूप से, कई ओईएम और कई सॉफ्टवेयर विक्रेता लगभग विशेष रूप से डेटा सेंटर बाजार के मालिक हैं। हालांकि, हाइपर-स्केलेबल क्लाउड कंपनियों की आपूर्ति श्रृंखलाओं ने इसे बदल दिया है। बाजार के नेताओं के डेटा केंद्र विकसित, निर्दिष्ट और यहां तक ​​कि (Google के मामले में) अपने स्वयं के बुनियादी ढांचे के रूप में विकसित हुए हैं, हालांकि कुछ मेगा डेटा केंद्र डेल और एचपी के सिद्ध समाधानों पर भरोसा करना जारी रखते हैं।

तेजी से, डेटा सेंटर क्वैंटा जैसे आपूर्तिकर्ताओं से विनिर्देशों के लिए बनाए जाते हैं। नए नेटवर्क उपकरण विक्रेता जैसे कि अरिस्टा अपने शेयर बाजार का विस्तार कर रहे हैं। नेबुला जैसे हाइपर-स्केलेबल समाधान प्रदाता भी बढ़ रहे हैं।

पेड सपोर्ट के साथ सॉफ्टवेयर ओपन सोर्स की ओर काफी बढ़ गया है - रेडहैट द्वारा मूल रूप से विकसित किए गए मॉडल को अब क्लाउडरा, मिरांटिस, यूनाइटेड स्टैक और अन्य ने अपनाया है।

खुली पहल: हाँ, हमने पहले से ही पारंपरिक उद्योगों में भी हर जगह Hadoop और डेरिवेटिव को लागू होते देखा है: तेल और गैस, फार्मास्युटिकल, जेनेटिक रिसर्च इत्यादि। और हमने देखा कि खुले डेटाबेस पारंपरिक समाधान (जैसे कैसेंड्रा) को धक्का देते हैं। लेकिन अब हम ओपन कंप्यूट और ओपन स्टैक जैसी नई पहल देख रहे हैं। बेशक, वे हाइपर-स्केलेबल डेटा केंद्रों के लिए उपयोगी हैं, लेकिन वे छोटी कंपनियों और विश्वविद्यालयों को भी बुनियादी ढांचे को तैनात करने में मदद करते हैं जो हाइपर-स्केलेबल के समान हैं, और "बड़े खिलाड़ियों" के रूप में स्वचालित नियंत्रण, दक्षता और लागत का समान स्तर प्राप्त करते हैं (बेशक, वे इसका उपयोग नहीं करते हैं) क्षमताओं का स्तर, लेकिन वे इसके बहुत करीब हैं)। भविष्य में, यह प्रवृत्ति ओईएम और सॉफ्टवेयर विक्रेताओं के पारंपरिक व्यापार मॉडल को बहुत नुकसान पहुंचा सकती है और नए खिलाड़ियों के पक्ष में बाजारों को फिर से खोल सकती है, जैसा कि हम पहले से ही क्वांटा, तियान, फॉक्सकॉन, विस्ट्रॉन और अन्य के उदाहरण पर देखते हैं, जो नई, खुली पहल की बदौलत बाजार में प्रवेश कर रहे हैं।

नए आर्किटेक्चर और एल्गोरिदम: अब एक संसाधन पूल पर आधारित प्रौद्योगिकियों के लिए एक स्पष्ट आंदोलन है। इंटेल और LSI जैसी कंपनियों और सबसे बड़े डेटा केंद्रों के वास्तुकारों के बीच एक साझेदारी के माध्यम से इस तरह के समाधान का विकास संभव हो गया था। परंपरागत रूप से, आर्किटेक्चर में नए दृष्टिकोण ओईएम द्वारा निर्धारित किए गए थे, लेकिन हाल ही में ऐसा नहीं है। हम स्केलेबल रैक-आर्किटेक्चर (आरएसए) का उपयोग करने के उद्देश्य से समाधानों के बढ़ते वितरण को देख सकते हैं: सिलिकॉन फोटोटोनिक्स, स्टोरेज पूल, सॉफ्टवेयर-परिभाषित नेटवर्क और जल्द ही हम रैम पूल और नए प्रकार के गैर-वाष्पशील रैम देखेंगे।

इसके अलावा, हम देख सकते हैं कि नए प्रोसेसर आर्किटेक्चर डेटा सेंटर में अपनी जगह कैसे हासिल कर रहे हैं: शांत और कोल्ड स्टोरेज के लिए एआरएम 64 और शक्तिशाली कंप्यूटिंग, मल्टी थ्रेडेड, मल्टी-टास्किंग प्रोसेसिंग राक्षसों के लिए ओपनपावर पी 8। यह सब देखना बेहद दिलचस्प है। एप्लिकेशन त्वरण में बढ़ती रुचि है: वीडियो कार्ड प्रोसेसर पर सामान्य प्रयोजन कंप्यूटिंग, वास्तविक समय स्ट्रीम विश्लेषण के लिए नियमित अभिव्यक्ति प्रोसेसर आदि। हमारी आंखों के ठीक सामने, ग्राफ विश्लेषण उपकरणों की पहली पीढ़ी सामने है।

नवाचार: नवाचार की गति बढ़ रही है, या मैं अभी बूढ़ा हो रहा हूं। लेकिन त्वरित आय खत्म हो गई है। एक ओर, डेटा केंद्रों को कंप्यूटिंग शक्ति और भंडारण में तेजी से वृद्धि की आवश्यकता होती है, उन्हें 10 से 1000 गुना तेजी से काम करने की आवश्यकता होती है। दूसरी ओर, मेमोरी, प्रोसेसर कोर, डिस्क और फ्लैश ड्राइव इतनी तेजी से नहीं बढ़ रहे हैं। इस अंतर को भरने का एकमात्र तरीका नवाचार के माध्यम से है। इसलिए यह आश्चर्य की बात नहीं है कि अब ओईएम, सॉफ्टवेयर विक्रेता, चिप और टर्नकी समाधान निर्माताओं के साथ-साथ ओपन सोर्स समुदाय और स्टार्टअप्स में बहुत सारी दिलचस्प चीजें हो रही हैं। यहाँ वही है जो वर्तमान को इतना रोचक बनाता है।

खपत में बदलाव: हम पीसी और लैपटॉप की आपूर्ति में गिरावट देखते हैं, एक गिरावट जिसके कारण इस खंड में भंडारण की मांग कम हो गई है। लैपटॉप तेजी से HDD से SSD की ओर बढ़ रहे हैं, जो LSI के लिए बुरा नहीं है, क्योंकि मोबाइल HDD में हमारा योगदान छोटा था, जबकि कंपनी SSD बाजार में बड़ी भूमिका निभाती है। स्मार्टफोन और टैबलेट ने क्लाउड सामग्री की खपत, यातायात और क्लाउड स्टोरेज पर निर्भरता को बढ़ा दिया है। हम क्लाउड समाधानों के लिए बड़े एचडीडी की मांग में उल्लेखनीय वृद्धि देख रहे हैं, यह प्रवृत्ति तेजी पकड़ रही है, और हमें लगता है कि क्लाउड-आधारित एचडीडी के लिए बाजार अच्छा लगेगा, और हम नए, क्लाउड-अनुकूलित एचडीडी के उद्भव को देखेंगे जो मौजूदा और से बहुत अलग हैं कम गर्मी के साथ शांत भंडारण के लिए डिज़ाइन किया गया।

PCIe SSD कार्ड की मांग में क्लाउड स्टोरेज बढ़ रहा है, जो डेटाबेस, कैश, वर्चुअल मशीन और अन्य अनुप्रयोगों के लिए उपयोग किया जाता है, जिन्हें कम विलंबता की आवश्यकता होती है। उच्च क्षमता और कम विलंबता वाले इन फ्लैश उत्पादों के बिना हम जो कुछ भी लेते हैं, वह संभव नहीं होगा। बहुत कम कंपनियां सस्ती कीमत पर व्यवहार्य फ्लैश स्टोरेज की पेशकश कर सकती हैं। यह विभिन्न समाधानों के साथ स्टार्टअप के लिए मार्ग प्रशस्त करता है।