अमेज़न EC2 क्रैश रिपोर्ट

अमेज़ॅन ने आखिरकार गुरुवार 21 अप्रैल को विफलता के कारणों पर एक विस्तृत रिपोर्ट प्रकाशित की, जिसके परिणामस्वरूप संयुक्त राज्य अमेरिका के पूर्वी तट पर पहुंच क्षेत्रों में से एक ने लगभग दो दिनों तक काम नहीं किया, और उसी क्षेत्र में अन्य क्षेत्र कुछ समय के लिए छोटी थीं।

इसलिए, विफलता का मूल कारण परिवर्तनशीलता पर सामान्य कार्य के दौरान अमेज़ॅन इलास्टिक ब्लॉक स्टोर ("ईबीएस") क्लस्टर की नेटवर्क सेटिंग्स में एक त्रुटि थी। नेटवर्क सेटिंग्स मुख्य नेटवर्क की क्षमता को बढ़ाने वाली थीं। इस प्रक्रिया में मानक चरणों में से एक को अपग्रेड करने के लिए भीड़भाड़ वाले मार्ग में से यातायात को हटाना है। ट्रैफिक को मुख्य नेटवर्क पर जाना चाहिए। लेकिन एक त्रुटि के कारण, यातायात मार्ग गलत तरीके से बदल गया: मुख्य नेटवर्क के बजाय, यह एक कम-बैंडविड्थ नेटवर्क में चला गया (ईबीएस दो नेटवर्क का उपयोग करता है: यातायात के लिए मुख्य एक और क्लस्टर और प्रतिकृति में ईबीएस नोड्स के बीच संचार के लिए दूसरा)।

दूसरा नेटवर्क ट्रैफ़िक के ऐसे संस्करणों के लिए डिज़ाइन नहीं किया गया है, इसलिए ईबीएस नोड्स ने एक दूसरे से संपर्क खो दिया है। यदि पड़ोसी जवाब नहीं दे रहा है, तो नोड दुहराने के लिए दूसरे की तलाश करने लगता है। नेटवर्क के पुनर्निर्माण के बाद, इसने घटनाओं की एक श्रृंखला शुरू की, जिसमें दर्पण बैकअप का हिमस्खलन भी शामिल था। ईबीएस क्लस्टर में खाली स्थान लगभग तुरंत समाप्त हो गया। इसके अलावा, चरम मोड में ऑपरेशन के कारण, कुछ ईबीएस नोड्स विफल होने लगे, जिससे फिर से अनुरोधों में वृद्धि हुई।

एक और अति सूक्ष्म अंतर: चूंकि दर्पण बैकअप की प्रक्रिया में अस्थायी रूप से पढ़ने और लिखने (डेटा अखंडता को संरक्षित करने के लिए) को अवरुद्ध किया जाता है, और किसी एक क्षेत्र में पूरा ईबीएस क्लस्टर पढ़ने और लिखने के लिए उपलब्ध नहीं था, इस स्थिति में सभी EC2 शेष जो इसे एक्सेस करते हैं भंडारण, भी, अवरुद्ध हो गया।

इन उदाहरणों को पुनर्स्थापित करने और इस क्षेत्र में ईबीएस क्लस्टर को स्थिर करने के लिए, लगभग पूरे समय के लिए ईबीएस के लिए सभी प्रबंध एपीआई (क्रिएट वॉल्यूम, अटैच वॉल्यूम, डिटैच वॉल्यूम, क्रिएट स्नैपशॉट सहित) को निष्क्रिय करना आवश्यक था, जो कि बहाली का काम किया गया था।

पहले दिन, दो समय की अवधि थी जब प्रभावित क्षेत्र में एक क्षतिग्रस्त ईबीएस क्लस्टर ने पूर्वी तट क्षेत्र में अन्य क्षेत्रों के संचालन को नकारात्मक रूप से प्रभावित किया, हालांकि यह सैद्धांतिक रूप से भी नहीं होना चाहिए था (अमेज़ॅन सेवा शर्तों के अनुसार, एक क्षेत्र में एक्सेस ज़ोन एक दूसरे से पूरी तरह से स्वतंत्र हैं एक दोस्त से)। लेकिन यहां ऐसा हुआ: ईबीएस एपीआई के पतन के कारण, ईबीएस ने इन एपीआई को अन्य ज़ोन से दो उल्लिखित समय अवधि के लिए कॉल किया, देरी के साथ काम किया और उच्च स्तर की त्रुटियों को वापस कर दिया। तथ्य यह है कि पूरे क्षेत्र में ईबीएस एपीआई प्रबंधन प्रणाली वास्तव में एक ही सेवा है, भले ही भौगोलिक रूप से सभी पहुंच क्षेत्रों में वितरित की गई हो। इस प्रकार, अन्य क्षेत्रों के उपयोगकर्ताओं को भी त्रुटि संदेश मिले जब उन्होंने नए उदाहरण बनाने की कोशिश की।

स्थिति इस तथ्य से बढ़ गई थी कि अमेज़ॅन रिलेशनल डेटाबेस सर्विस (आरडीएस) भी डेटाबेस और लॉग को स्टोर करने के लिए ईबीएस पर निर्भर था, इसलिए एक ईबीएस क्लस्टर की विफलता के बाद, आरडीएस डेटाबेस का हिस्सा अनुपलब्ध था: चरम पर, इस क्षेत्र में 45% तक उदाहरण हैं जो "चयनित" एकल- AZ ”सेटिंग में, इसका सीधा ईबीएस अस्वीकृति (जो कि विभाजन के 18% प्रभावित शिखर पर) की तुलना में ग्राहकों की मेजबानी पर बहुत अधिक नकारात्मक प्रभाव पड़ा, क्योंकि एक आरडीएस डेटाबेस प्रदर्शन में सुधार के लिए भंडारण के लिए कई ईबीएस नोड का उपयोग करता है।

12 घंटे के संघर्ष के बाद, स्थिति को एक ईबीएस क्लस्टर में अलग किया गया था, जिसके बाद इस क्लस्टर की सावधानीपूर्वक बहाली शुरू हुई, और कुछ विभाजन मैन्युअल रूप से बहाल किए जाने थे, और 0.07% पूरी तरह से खो गए थे ("सिंगल-एज़ेड" डेटाबेस का 0.4%)। उन्हें केवल बैकअप से बहाल किया जा सकता है। यद्यपि एपीआई की कार्यक्षमता और क्लस्टर तक पहुंच को 23 अप्रैल को (प्रारंभिक विफलता के दो दिन बाद) बहाल किया गया था, लेकिन अंतिम विभाजन की बहाली सोमवार तक जारी रही।

अमेज़ॅन ने उन सभी ग्राहकों का वादा किया, जिनके इंस्ट्रूमेंट प्रभावित क्षेत्र में स्थित हैं, चाहे वे ईबीएस क्लस्टर में असफल रहे हों या नहीं, ईबीएस वॉल्यूम के 10 दिनों के मुफ्त उपयोग, ईसी 2 इंस्टेंसेस और आरडीएस डेटाबेस इंस्टेंस का उपयोग वर्तमान मात्रा में किया गया हो। मुआवजा पाने के लिए आपको कुछ भी करने की आवश्यकता नहीं है: यह स्वचालित रूप से निकटतम खाते में दिखाई देगा। आपको पता चल सकता है कि AWS खाता गतिविधि पृष्ठ पर मुआवजा आपके लिए लागू होता है या नहीं।

स्वतंत्र विशेषज्ञों ने अमेज़ॅन की अधिकतम खुलेपन और ईबीएस के अत्यंत गहन विवरण और ईसी 2 के तकनीकी ढांचे की प्रशंसा की। रिपोर्ट में एकमात्र दोष प्रारंभिक विफलता के बारे में एक निश्चित समझ है, अर्थात, नेटवर्क सेटिंग्स में वास्तव में क्या त्रुटि थी, इस बारे में कुछ भी नहीं कहा गया है। हालांकि यह स्पष्ट रूप से नहीं कहा गया है, रिपोर्ट में एक वाक्यांश से यह स्पष्ट है कि मानव कारक को त्रुटि के लिए दोषी ठहराया जाना चाहिए: "हम परिवर्तनों की हमारी प्रक्रिया का लेखा-जोखा करेंगे [सेटिंग्स] और भविष्य में ऐसी त्रुटियों को रोकने के लिए स्वचालन के स्तर को बढ़ाएं," आधिकारिक बयान में कहा गया है। ।

ईबीएस के काम के साथ समस्याओं के लिए, इस विफलता को "एक बहुत ही जटिल परिचालन घटना कहा जाता है, जो कई पारस्परिक रूप से प्रभावित करने वाले कारकों के कारण होता है, जो हमें भविष्य में ऐसी घटनाओं के किसी भी पुनरावृत्ति से सेवा की रक्षा करने के लिए कई विकल्प देता है," रिपोर्ट में कहा गया है।