सर्वर मेमोरी विफलता के आंकड़े

2009 में, SIGMETRICS वार्षिक वैज्ञानिक सम्मेलन में, टोरंटो विश्वविद्यालय में काम करने वाले शोधकर्ताओं के एक समूह ने डेटा एकत्र किया और Google द्वारा अध्ययन के लिए उपलब्ध कराया गया, जिसमें DRAM एरर्स नामक एक बहुत ही दिलचस्प दस्तावेज प्रकाशित किया गया था: एक बड़े पैमाने पर फ़ील्ड जो विफलता के आँकड़ों के लिए समर्पित है। सर्वर रैंडम एक्सेस मेमोरी (DRAM)। हालांकि इसी तरह के अध्ययन पहले किए गए थे (उदाहरण के लिए, एक 2007 का अध्ययन जिसमें 300 कंप्यूटरों का एक बेड़ा देखा गया था), यह सर्वरों के इतने बड़े बेड़े को कवर करने वाला पहला अध्ययन था, जिसे हजारों इकाइयों में गिना गया, दो वर्षों में, और इस तरह की व्यापक सांख्यिकीय जानकारी प्रदान की गई।

मैं यह भी नोट करता हूं कि शोधकर्ताओं के एक ही समूह, एक स्नातक छात्र के नेतृत्व में, और अब टोरंटो विश्वविद्यालय में एक प्रोफेसर, बियांका श्रोएडर ने इससे पहले 2007 में Google डेटा केंद्रों में हार्ड ड्राइव विफलताओं के आंकड़ों पर एक समान रूप से दिलचस्प अध्ययन प्रकाशित किया था (एक संक्षिप्त लोकप्रिय उद्धरण) एक बड़ी डिस्क ड्राइव जनसंख्या में विफलता के रुझान (पीडीएफ 242 केबी), यदि आप पूरी रिपोर्ट पढ़ने से ऊब गए हैं, तो यहां पाया जा सकता है: http://blog.aboutnetapp.ru/archives/tag/google )। इसके अलावा, उनके द्वारा विशेष रूप से तापमान और शीतलन के प्रभाव पर, और रैम में विफलताओं के आँकड़ों पर, संभवतः, उच्च-ऊर्जा ब्रह्मांडीय किरणों द्वारा, कई अन्य कार्य लिखे गए थे। प्रकाशनों के लिंक श्रोएडर होमपेज पर, विश्वविद्यालय के सर्वर पर पाए जा सकते हैं।

संक्षेप में कि आंकड़ों का संग्रह कैसे हुआ। तथ्य यह है कि काफी लंबे समय के लिए (प्रकाशित काम ने लगभग 2.5 वर्षों की अवधि का विश्लेषण किया है), उपकरण के जीवन में निगरानी और अन्य घटनाओं के विभिन्न डेटा को एक बड़े डेटाबेस में Google डेटा केंद्रों में एकत्र किया गया है, जिसके डेटा का किसी भी वांछित अवधि में और अधिक विश्लेषण किया जा सकता है। समय।



(फोटो में, वैसे, Google सर्वर प्लेटफ़ॉर्म का वास्तविक रूप है, यह इन "ईंटों" से है कि कई हजारों नोड्स के Google क्लस्टर इकट्ठे होते हैं, हालांकि, उनके बारे में पहले से ही लिखा गया था)

इस तरह के विश्लेषण के परिणाम एक प्रकाशित काम में प्रस्तुत किए जाते हैं। और परिणाम कई मायनों में आश्चर्यजनक हैं, विश्वसनीयता के मुद्दों पर एक अलग नज़र रखने और सर्वर हार्डवेयर विश्वसनीयता के क्षेत्र में सामान्य मान्यताओं के लिए।

अध्ययन ने यह स्पष्ट रूप से प्रदर्शित किया कि रैम में विफलताओं के प्रभाव को काफी कम करके आंका जाता है , कि रैम विफलताएं पहले की तुलना में बहुत अधिक बार होती हैं, यह आमतौर पर स्वीकार किया जाता था, आखिरकार, कई मान्यताओं, उदाहरण के लिए, यह रैम "उम्र" के रूप में नहीं "उम्र" विफलताओं की संभावना बढ़ाना, चलती भागों के साथ घटक, जैसे कि, उदाहरण के लिए, हार्ड ड्राइव, या जो ओवरहीटिंग रैम के प्रदर्शन के लिए हानिकारक है, गलत हैं और संशोधन की आवश्यकता है।

इस तथ्य में कोई संदेह नहीं है कि पिछले कुछ वर्षों में, DRAM की लागत में तुलनात्मक कमी और सर्वर वर्चुअलाइजेशन सिस्टम के व्यापक उपयोग के कारण, जो कि मेमोरी वॉल्यूम के लिए बेहद उत्सुक हैं, एक सिस्टम सिस्टम में अधिक से अधिक रैम की एकाग्रता इसकी विश्वसनीयता के लिए आवश्यकताओं को बढ़ाती है।

अध्ययन से पता चला है कि अध्ययन के 2.5 वर्षों के दौरान लगभग हर तीसरे सर्वर (या मेमोरी मॉड्यूल का 8%) अवलोकन डेटा केंद्रों में रैम में खराबी के साथ मिला । निगरानी प्रणाली द्वारा दर्ज की गई विफलताओं की संख्या प्रति वर्ष 4000 से अधिक थी! उनमें से ज्यादातर रैम में उपयोग किए गए ECC (त्रुटि सुधार कोड), और इसके अधिक जटिल विकल्प, जैसे कि चिपकिल (उदाहरण के लिए, आपको बहु-बिट त्रुटियों को समाप्त करने की अनुमति देता है) का उपयोग करके समाप्त कर दिया गया था, उदाहरण के लिए, तुरंत कोशिकाओं के समूह में। हालाँकि, अनक्रेक्टेबल एरर्स, यानी त्रुटियां, जिन्हें ठीक नहीं किया जा सकता था, और जो निश्चित रूप से बीएसओडी या कर्नेल घबराहट जैसे घातक परिणामों का कारण बनीं, आमतौर पर माना जाता है। और ईसीसी के बिना मेमोरी का उपयोग करने के मामले में, इनमें से प्रत्येक त्रुटि लगभग निश्चित रूप से बीएसओडी या कर्नेल घबराहट, या एक गंभीर अनुप्रयोग की खराबी है। दरअसल, उदाहरण के लिए, कई लोग अपने काम को तेज करने के लिए डेटाबेस डेटा को मेमोरी में स्टोर करते हैं।

पहले से प्रकाशित अध्ययन की तुलना में, श्रोएडर समूह के काम ने नाटकीय रूप से विफलताओं की "अपेक्षाओं" को बढ़ा दिया। इसलिए, उन्होंने प्रति बिलियन घंटे सर्वर संचालन में 25-70 हजार विफलताओं पर विफलता की घटनाओं का अनुमान लगाया, जो कि छोटी आबादी पर किए गए पहले के अनुमान से लगभग पंद्रह गुना अधिक है।
1.3% सर्वर प्रति वर्ष, या लगभग 0.22% डीआईएमएम, अचूक, अचूक ईसीसी या चिपकिल के परिणामस्वरूप विफलताओं का सामना करना पड़ा।
चिपकोल जैसे "मल्टी-बिट" तंत्र का उपयोग करने वाले सिस्टम में पारंपरिक ईसीसी की तुलना में 4-10 गुना कम की विफलता दर थी।

प्रकाशित काम में किए गए अन्य दिलचस्प निष्कर्ष हैं:

ऑपरेटिंग तापमान, और इसकी वृद्धि DRAM में विफलता की संभावना के साथ बहुत कम संबंध रखती है । यह एक और तथ्य है जो इंगित करता है कि अर्धचालक और कंप्यूटर उपकरण (80 के दशक के एक अध्ययन पर आधारित एक राय) पर ऊंचे तापमान के घातक परिणामों के बारे में उद्योग में प्रचलित राय की आज मौलिक समीक्षा की जानी चाहिए। यह इस तथ्य की एक और पुष्टि है, जो पहले से ही स्थापित किया गया है, उदाहरण के लिए, हार्ड डिस्क पर काम में। विरोधाभासी रूप से, यह पाया गया कि 40-45 डिग्री के क्षेत्र में सबसे कम एचडीडी विफलताओं का तापमान तापमान पर देखा गया था, और विफलताओं की संख्या में इसकी वृद्धि हुई (!)।
DRAM के मामले में, तापमान (न्यूनतम और उच्चतम के बीच लगभग 20 डिग्री) की सीमा के बीच सहसंबंध बहुत कम था।



(इसके बाद की स्लाइड्स पर: CE - सुधार योग्य त्रुटियां, त्रुटियां दर्ज की गईं लेकिन ECC, UE - अचूक द्वारा सही)

हालांकि , मेमोरी लोडिंग और इसके साथ विनिमय की दर के साथ सहसंबद्ध विफलता (आंशिक रूप से, उच्च मेमोरी लोडिंग भी इसके तापमान को प्रभावित करती है, निश्चित रूप से, लेकिन हमेशा नहीं)। यह संभावना है कि एक गहन विनिमय और डेटा के साथ भरी हुई एक बड़ी सापेक्ष मात्रा में त्वरित विफलता का पता लगाने की संभावना बढ़ जाती है।



यह पाया गया कि पहले विफल मेमोरी मॉड्यूल में दूसरी विफलता की संभावना पहले की तुलना में सैकड़ों गुना अधिक है । यह खराब तरीके से पहचाने गए तकनीकी दोष की उपस्थिति के कारण हो सकता है, और इस तथ्य से कि असफलता, उदाहरण के लिए, कॉस्मिक किरणों के आवेशित कण द्वारा टूटना, मेमोरी के लिए ट्रेस के बिना नहीं गुजरती है, भले ही त्रुटि ईसीसी द्वारा सही की गई हो।
70-80% मामलों में जब मेमोरी मॉड्यूल में एक अपरिवर्तनीय त्रुटि दर्ज की गई थी, तो इस मॉड्यूल में पहले से ही इस या पिछले महीने में एक निश्चित ईसीसी या चिपकिल विफलता थी।



यह पाया गया कि अपेक्षाकृत उच्च घनत्व और महीन निर्माण प्रक्रियाओं के साथ बनाए गए अपेक्षाकृत नए मॉड्यूल उच्च विफलता दर नहीं दिखाते हैं । जाहिर है, डीआरएएम प्रौद्योगिकी में तकनीकी सीमा, जिसके पास विश्वसनीयता समस्याएं शुरू होती हैं, अभी तक नहीं पहुंच पाई हैं। मॉड्यूल के देखे गए बेड़े में, लगभग छह विभिन्न प्रकार और मेमोरी (DDR1, DDR2, और FBDIMM के विभिन्न प्रकार) थे, और उच्च घनत्व और विफलताओं और दुर्भावनाओं की संख्या के बीच कोई सहसंबंध नहीं पाया गया था।

अंत में, घबराहट स्पष्टता के साथ DRAM मॉड्यूल में "उम्र बढ़ने" के प्रभाव का प्रदर्शन किया गया। इसके अलावा, यह खुद को स्मृति में बहुत अधिक स्पष्ट रूप से प्रकट करता है, उदाहरण के लिए, एचडीडी में, जहां कई बार विफलताओं के बाद बढ़ने वाली सीमा लगभग 3-4 साल थी।



विरोधाभासी रूप से, आंकड़े मॉड्यूल की उम्र में वृद्धि के साथ सुधारात्मक त्रुटियों के विकास की दर में वृद्धि दिखाते हैं, लेकिन अपरिवर्तनीय त्रुटियों की दर में कमी, लेकिन सबसे अधिक संभावना यह है कि विफलताओं के कारण देखे गए सर्वरों में स्मृति के नियोजित प्रतिस्थापन का परिणाम है।



हैरानी की बात है, किसी भी चलती भागों से रहित , DRAM, ऑपरेशन के डेढ़ साल बाद सुधार योग्य विफलताओं में महत्वपूर्ण और निरंतर वृद्धि दर्शाता है ।

सारांशित करते हुए, मैं यह नोट करना चाहूंगा कि सांख्यिकीय डेटा हमें "रोजमर्रा के अनुभव", और स्थिति "ठंडा बेहतर", "स्मृति बाहर नहीं पहनती है" के आधार पर सर्वर सर्वर प्लेटफार्मों और ऑपरेटिंग डेटा केंद्रों के सिद्धांतों पर पुनर्विचार करने के लिए मजबूर करती है। सही ढंग से इकट्ठे हुए, यह टूटता नहीं है "और" ईसीसी ड्रैम पैसे की अनावश्यक बर्बादी है, क्योंकि मेरा डेस्कटॉप ई के बिना काम करता है, और कुछ भी नहीं। " और जितनी जल्दी इस तरह के एक गंभीर क्षेत्र में कैप-एंड-ड्रॉपिंग की भावनाओं को डेटा सेंटरों के निर्माण को समाप्त किया जाएगा, उतना ही बेहतर होगा।
और जो लोग विषय में रुचि रखते हैं, उनके लिए मैं मिठास , बौद्धिक व्यायाम और मस्तिष्क के लिए भोजन के एक अपरिहार्य स्रोत की सिफारिश करना चाहता हूं, क्योंकि USENIX समूह के वार्षिक सम्मेलनों के प्रकाशन के रूप में, यह, सज्जनों, एक मार्केटिंग मार्केटिंग नहीं है जो हम सभी को पहले से ही परिचित है, लेकिन एक वास्तविक गंभीर विज्ञान जिसे आप अवहेलना नहीं कर सकते हैं।