मेगा-डेटा केंद्र नवाचार के अग्रणी हैं। भाग २

हम पिछले लेख द्वारा शुरू किए गए आधुनिक अल्ट्रा-बड़े डेटा सेंटर के साथ अपने परिचितों को जारी रखते हैं, और आज हम इस बारे में बात करेंगे कि सबसे महत्वपूर्ण समस्याओं में से एक का समाधान कैसे किया जाता है - डेटा स्टोरेज। इसके अलावा, हम ऐसे मेगा-डेटा केंद्रों के निकट भविष्य के बारे में थोड़ी बात करेंगे।

बेशक, डेटा स्टोरेज सिस्टम मेगा-डेटा केंद्रों के बहुत, बहुत सारे अनुप्रयोगों के लिए एक अड़चन नहीं बन सकता है। इस क्षेत्र में भारी सफलता के बावजूद, हमेशा मौजूदा समाधान चुनौतियों का हल करने के लिए पर्याप्त नहीं हैं। यह कल्पना करना मुश्किल है कि अमेज़ॅन, Google, फेसबुक और अन्य कंपनियों के डेटा केंद्रों में हर सेकंड कितना डेटा संसाधित होता है। न केवल डेटा की मात्रा और उनकी प्राप्ति की गति समस्या का सार है, वास्तव में यह बहुत सी अतिरिक्त समस्याओं पर विचार करने के लायक है, डेटा की सुरक्षा और उनकी सुरक्षा के साथ शुरू होता है, और तथाकथित "डेटा प्रतिधारण" के लिए कानूनी आवश्यकताओं के साथ समाप्त होता है।



वस्तुतः कोई अपवाद नहीं होने के कारण, बड़े डेटा सेंटर स्टोरेज सिस्टम को डायरेक्ट स्टोरेज कनेक्शन (DAS) के सिद्धांत पर बनाया गया है: वे खरीदना आसान है (लेख के पहले भाग में लागतों को अनुकूलित करने के महत्व की चर्चा को याद रखें?), वे बनाए रखने के लिए सस्ता हैं, वे समाधान की तुलना में बेहतर बैंडविड्थ प्रदान करते हैं? NAS और SAN पर आधारित, अधिक प्रदर्शन का उल्लेख नहीं करने के लिए। कभी-कभी बड़े DPC की संग्रहण प्रणालियाँ पारंपरिक उपभोक्ता डिस्क और SSD का उपयोग SATA कनेक्शन के साथ करती हैं, सीरियल अटैच्ड SCSI अधिक व्यापक होता जा रहा है, SAS में बहुत से प्रवासन, जो पारंपरिक SATA डिस्क के साथ संगत है, कई निर्विवाद फायदे भी हैं, गति और गति दोनों में। प्रबंधन की सादगी। 12 Gb / s थ्रूपुट का समर्थन करने वाले एसएएस इंटरफेस में माइग्रेशन की एक प्रक्रिया भी है।

इतनी देर पहले, भंडारण प्रणालियों के मूल्यांकन के लिए मुख्य संकेतक प्रति सेकंड (IOPS) और अधिकतम इंटरफ़ेस बैंडविड्थ की संख्या, मेगाबाइट प्रति सेकंड में मापा गया था। मेगा-डीपीसी के संचालन की वास्तविकताओं से पता चला है कि एसएसडी पर चलने वाले आधुनिक एसएसडी अक्सर अधिकतम I / O प्रदर्शन (अक्सर 200,000 IOPS तक) प्राप्त करते हैं और डेटा ट्रांसफर गति एक महत्वपूर्ण भूमिका निभाते हैं। एक संकेतक जैसे कि आई / ओ संचालन में देरी सबसे आगे आती है, और यह है कि इस तरह के बुनियादी ढांचे की दक्षता, सर्वर लोड और निश्चित रूप से, आवेदन की गति के डेटा केंद्रों के लिए सबसे महत्वपूर्ण संकेतकों पर एक महत्वपूर्ण प्रभाव पड़ता है।

मुख्य अनुकूलन विधियाँ एसएसडी, विशेष कैशिंग बोर्ड और इन दो विकल्पों के संयोजन की शुरूआत हैं।

वास्तव में, एक विशिष्ट हार्ड ड्राइव के लिए I / O विलंबता लगभग 10 मिलीसेकंड (0.01 सेकंड) है। एसएसडी में, पढ़ने में देरी कहीं 200 माइक्रोसेकंड के आसपास है, और लिखने में देरी क्रमशः 100 माइक्रोसेकंड (0.0002 और 0.0001 सेकंड) है। विशिष्ट PCIe कार्ड (हमने हाल ही में एक समान LSI Nytro समाधान का वर्णन किया है, व्यवहार में इसकी प्रभावशीलता दिखाते हुए) कई दसियों microseconds के भी कम विलंबता प्रदान कर सकते हैं।



एसएसडी प्रौद्योगिकियों के उचित उपयोग के साथ, विभिन्न भंडारण समाधानों को मिलाकर, आप 4 से 10 गुना की औसत वृद्धि प्राप्त कर सकते हैं, जिसके कारण मेगा-डेटा केंद्रों की स्थिति में मालिक के लिए भारी मात्रा में लाभ हो सकता है।

एंटरप्राइज़ सैन स्टोरेज विभिन्न कैशिंग समाधानों के कार्यान्वयन से और भी अधिक लाभान्वित होता है, क्योंकि कैश ऐसे स्टोरेज - नेटवर्क इन्फ्रास्ट्रक्चर के सबसे धीमे हिस्से के प्रभाव को समाप्त करता है। आधुनिक I / O अनुकूलन कार्ड अपने कैश में "हॉट" डेटा के कई टेराबाइट्स तक स्टोर कर सकते हैं, इसलिए अक्सर एक संपूर्ण डेटाबेस इसमें फिट हो सकता है, जो एप्लिकेशन के काम करने के लिए महत्वपूर्ण है।

मेगा-डेटा केंद्रों के विपरीत, कॉर्पोरेट संरचनाओं में, I / O देरी का उपयोग हमेशा भंडारण के मूल्यांकन के मुख्य मानदंडों के रूप में नहीं किया जाता है, IOPS पर अधिक निर्भर करता है और डेटा के एक गीगाबाइट के भंडारण की लागत, पारंपरिक SSD हार्ड ड्राइव के विपरीत। बदले में, आधुनिक अल्ट्रा-बड़े डेटा केंद्रों के निर्माण के अनुभव से पता चलता है कि अधिक महंगे एसएसडी का उपयोग करते हुए भी, आप भविष्य में इसे समर्थन की लागत को कम करके और इसकी दक्षता का अनुकूलन करके अधिक कुशल बुनियादी ढांचा प्राप्त कर सकते हैं। एचडीडी की तुलना में, आधुनिक एसएसडी विफलताओं के लिए कम प्रवण होते हैं, कम बिजली की खपत को बनाए रखने में आसान होते हैं, और कम बिजली की खपत करते हैं, जो कि उनके मुख्य लाभों के लिए एक महत्वपूर्ण "बोनस" है: आई / ओ संचालन की गति और कम विलंबता, जो आपको कम सर्वर पर डेटा संसाधित करने की अनुमति देता है, बचत सेवा अनुबंध और सॉफ्टवेयर लाइसेंस पर भी।

भविष्य में मेगा-डेटा केंद्रों का क्या इंतजार है?



नवाचार लागू करने के लिए पहला स्थान सॉफ्टवेयर है। कुछ मामलों में, सुपर-बड़े डेटा सेंटर समाधानों के उपयोग में अग्रणी थे जो बाद में आईटी के "रोजमर्रा की जिंदगी" का हिस्सा बन गए (जब तक कि यह अभिव्यक्ति यहां लागू नहीं है। उदाहरणों में अपाचे कैसेंड्रा, Google ड्रेमल और निश्चित रूप से, हापॉप शामिल हैं।) एप्लिकेशन जबरदस्त गति से विकसित हो रहे हैं, अक्सर यह वर्षों के बारे में नहीं है, बल्कि महीनों के बारे में है।

अब हम देख सकते हैं कि दो बहुत ही युवा प्रौद्योगिकियां कॉर्पोरेट डेटा केंद्रों की दुनिया को कैसे बदल रही हैं, कैसे लिनक्स ने एक बार सामान्य रूप से सर्वर बाजार को बदल दिया। OpenCompute एक पहल है जिसका उद्देश्य कंप्यूटिंग केंद्रों की एक खुली, न्यूनतर और कुशल वास्तुकला बनाना है। 2011 में फेसबुक द्वारा पेश किया गया था, यह वर्तमान में एक वास्तविक उछाल का अनुभव कर रहा है और इससे कई बदलाव हो सकते हैं (उदाहरण के लिए, "ओपन सॉफ्टवेयर" सिद्धांत पर आधारित "ओपन सर्विस" मॉडल)। दूसरी पहल, ओपनस्टैक, अब सॉफ्टवेयर-परिभाषित डेटा केंद्रों के बहुमत की नींव है, एक नेटवर्क इन्फ्रास्ट्रक्चर और स्वचालित रूप से नियंत्रित किए जा सकने वाले संसाधन संसाधन संसाधनों का एक पूल बनाकर।

इसके अलावा, निकट भविष्य में, रैक स्तर पर सर्वर असहमति के समाधान हमारे लिए इंतजार कर रहे हैं: वे आपको एक दूसरे से सभी सर्वर घटकों (प्रोसेसर, मेमोरी, बिजली की आपूर्ति, आदि) को अलग करने और उन्हें अलग से प्रबंधित करने की अनुमति देंगे। यह सुपर-बड़े डीसी में "लोहा" के उपयोग की दक्षता में और सुधार करेगा।

संक्षेप में, हम कह सकते हैं कि मेगा-डेटा केंद्र नवाचार के मामले में सबसे आगे रहते हैं, यह वास्तव में आईटी का क्षेत्र है जिसे कई क्षेत्रों में "अग्रणी" माना जा सकता है, वे इस तरह से मार्ग प्रशस्त करते हैं कि पूरा उद्योग जल्द ही अनुसरण करेगा।

... साहस करने के लिए जहां कोई आदमी पहले नहीं गया है!