क्यों CloudFlare रखना

आज 09:47 UTC पर, CloudFlare वास्तव में इंटरनेट से बाहर हो गया। गिरावट ने DNS और प्रॉक्सी सेवाओं सहित सभी CloudFlare सेवाओं को प्रभावित किया। हर कोई जिसने गिरावट के दौरान CloudFlare सेवाओं का उपयोग करके किसी भी साइट को खोलने का प्रयास किया, उसे DNS त्रुटि मिली। CloudFlare होस्ट के लिए पिंग और ट्रेसरआउट ने "होस्ट करने के लिए कोई मार्ग नहीं" त्रुटि भी उत्पन्न की।



गिरावट का कारण सीमा राउटर पर एक त्रुटि थी। CloudFlare के दुनिया भर में 23 डेटा सेंटर हैं। वे राउटर के माध्यम से इंटरनेट से जुड़े हुए हैं। इन राउटरों ने सुनिश्चित किया कि इंटरनेट पर कहीं से भी हमें भेजे जाने वाले पैकेट आमतौर पर हमारे सर्वर तक पहुंचते हैं। जब राउटर काम करना बंद कर देता है, तो इसके पीछे का नेटवर्क इंटरनेट तक पहुंचना बंद कर देता है।

हम नियमित रूप से अपने एक या अधिक अद्भुत राउटर को बंद कर देते हैं, उदाहरण के लिए, किसी भी काम के दौरान। इस तथ्य के कारण कि हम एनीकास्ट का उपयोग करते हैं, यातायात को निकटतम डेटा सेंटर पर पुनर्निर्देशित किया जाता है। हालांकि, आज सुबह हम एक त्रुटि में भाग गए, जो हमारे सभी राउटर ने निर्धारित किया था।

Flowspec

सभी किनारे राउटर जो त्रुटि प्रवण थे जुनिपर से थे। जुनिपर रूटर्स को पसंद करने वाले कारणों में से एक फ्लॉस्पेक प्रोटोकॉल का समर्थन करना है। यह आपको बड़ी संख्या में राउटर के लिए रूटिंग नियमों को प्रभावी ढंग से विस्तारित करने की अनुमति देता है। यहां CloudFlare पर, हम लगातार रूटिंग नियमों को अपडेट कर रहे हैं। यह सबसे तेजी से संभव सेवा के लिए हमलों और पुनर्निर्देशित यातायात से बचाने के लिए आवश्यक है।

आज सुबह, हमने अपने एक ग्राहक के उद्देश्य से DDoS हमले को देखा। हमले को विशेष रूप से DNS सर्वर पर लक्षित किया गया था। हमारे पास हमले के हस्ताक्षर बनाने के लिए एक विशेष उपकरण है जो स्वचालित प्रणालियों और कर्मचारियों के लिए समान रूप से अच्छी तरह से समझा जाता है। आमतौर पर, ये हस्ताक्षर रूटिंग नियम बनाने के लिए उपयोग किए जाते हैं जो "खराब" अनुरोधों की संख्या को कम कर देंगे।
इस मामले में, हमारे आक्रमण प्रोफाइलर ने निर्धारित किया कि "खराब" पैकेट 99.971 और 99.985 बाइट्स के बीच लंबे थे। यह बल्कि अजीब है, क्योंकि एक नियमित पैकेट की लंबाई 600 बाइट्स से अधिक नहीं है, और सबसे बड़े 1,500 बाइट्स तक हैं। हमारे नेटवर्क में 4.470 बाइट्स का प्रतिबंध लगाया गया था, लेकिन प्रोफाइलर ने कहा कि हमलावर के पैकेट की लंबाई बिल्कुल यही है।

घातक नियम

हमारी टीम का कोई व्यक्ति हमेशा नेटवर्क का अनुसरण कर रहा है, 24/7। हमेशा की तरह, ऑपरेटरों में से एक ने प्रोफाइलर का आउटपुट लिया और एक नियम जोड़ा जिसके अनुसार सभी पैकेट 99.971 से 99.985 बाइट के आकार के "ड्रॉप" होने चाहिए। यह जूनोस, जुनिपर ऑपरेटिंग सिस्टम में जैसा दिखता था:



फ्लॉस्पेक ने इस नियम को अपनाया और इसे सीमा नेटवर्क में वितरित किया। सिद्धांत रूप में, किसी भी पैकेट को इस नियम के अनुकूल नहीं होना चाहिए, क्योंकि नेटवर्क पर इतने बड़े पैकेट नहीं हो सकते थे। वास्तव में, सभी राउटर ने नियम को अपनाया और जब तक वे लटकाए गए तब तक सभी उपलब्ध रैम का उपभोग करना शुरू कर दिया।

सामान्य स्थिति में, राउटर को स्वचालित रूप से रिबूट करना चाहिए, लेकिन फिर किसी कारण से ऐसा नहीं हुआ। हम प्रबंधन बंदरगाहों के माध्यम से भी पहुंचने में असमर्थ थे। यहां तक ​​कि अगर किसी तरह का डेटा सेंटर अचानक ही उठ गया, तो यह तुरंत वापस चला गया, क्योंकि पूरे नेटवर्क का सारा ट्रैफिक इससे गुजरने लगा।

सैम बोनी, सिटी कॉलेज सैन फ्रांसिस्को के एक प्रोफेसर, जो BGPlay का उपयोग कर रहे थे, को यह वीडियो मिला, जिसमें दिखाया गया है कि कैसे रूटर्स एक के बाद एक गिरते हैं:

घटना की प्रतिक्रिया

CloudFlare नेटवर्क टीम को शुरू से ही इस घटना की जानकारी थी। राउटर के दुर्घटना का कारण स्पष्ट नहीं था, लेकिन यह स्पष्ट था कि पैकेट हमारे नेटवर्क का रास्ता नहीं खोज सकते थे। हम कई राउटर तक पहुंचने में सक्षम थे और पता चला कि वे उस नियम के कारण गिर रहे थे। हमने इसे हटा दिया और फिर अन्य डेटा केंद्रों में ऑपरेटरों को रूटर्स को रिबूट करने के लिए बुलाया।

23 CloudFlare डेटा सेंटर 14 देशों में स्थित हैं, इसलिए प्रतिक्रिया का समय लगभग 30 मिनट था। 10:49 UTC में, सभी CloudFlare सेवाएँ पहले से ही चल रही थीं। हम उन मामलों की जांच करना जारी रखते हैं जो हमारे ग्राहक अभी भी शिकायत कर रहे हैं। आमतौर पर वे इस तथ्य से जुड़े होते हैं कि खराब DNS प्रतिक्रिया को कैश किया गया था।

हमने जुनिपर विशेषज्ञों से पहले ही यह जानने के लिए संपर्क किया है कि क्या वे इस बग या हमारे पहले मामले को जानते हैं। हमें कई फ्लोस्पेक परीक्षण करने होंगे और यह पता लगाना होगा कि नियमों के आवेदन को कई डेटा केंद्रों तक सीमित करना संभव है या नहीं। हम SLA द्वारा संरक्षित खातों में धन लौटाने की योजना भी बनाते हैं। हम सेवाओं की अनुपलब्धता के मनमाने ढंग से कम समय के खिलाफ हैं और क्लाउडफेयर टीम इस मामले के लिए माफी मांगती है।