पंडोरामा बिगडेटा के बुनियादी ढांचे की संरचना और विफलताओं से इसके डेटा की रक्षा करना

यदि Google मंत्र "एक क्लिक के साथ दुनिया में सभी जानकारी के लिए खोज" की तरह लगता है, तो युवा रूसी परियोजना पंडोरा का मंत्र आगे बढ़ता है: "बिना किसी क्लिक के, हमें आपकी रुचि के सभी जानकारी मिल जाती है।"

पांडोरामा एप्लिकेशन अपने उपयोगकर्ताओं को "टैग", "श्रेणियां" या "पसंद" के साथ काम करने के लिए पाठक की आवश्यकता के बिना, उनकी व्यक्तिगत जानकारी प्राथमिकताओं के आधार पर "अंतहीन" व्यक्तिगत समाचार फ़ीड प्रदान करता है। पहले आपको कुछ अजीब पांडा के बारे में कुछ सवालों के जवाब देने की जरूरत है, और फिर आपको बस प्रस्तावित टेप को पढ़ने की जरूरत है। आपके द्वारा पढ़ी जाने वाली खबर का स्वचालित रूप से विश्लेषण किया जाएगा और सिस्टम द्वारा संसाधित किया जाएगा ताकि भविष्य में फ़ीड में अधिक से अधिक ऐसी खबरें हों, और कम और कम समाचार।

पंडोरा पहले से ही दुनिया भर में 40 हजार से अधिक उपयोगकर्ताओं को एकजुट करता है, और यह संख्या लगातार बढ़ रही है। यह आलेख 24x7 मोड में काम कर रही इस परियोजना के बिगडाटा बुनियादी ढांचे, इसके दोष सहिष्णुता को सुनिश्चित करने के लिए तंत्र और विफलताओं से इसके डेटा की सुरक्षा, वीम बैकअप और प्रतिकृति क्लाउड संस्करण का उपयोग करके बनाया गया है।

तो पांडोरामा वेब सेवा कैसे काम करती है? हर दिन, उनका रोबोट लगातार नई जानकारी की तलाश में रहता है, नेटवर्क पर कई पृष्ठों को दरकिनार करता है (लगभग 35 हजार स्रोतों का दैनिक विश्लेषण किया जाता है)। पाया गया प्रत्येक लेख अपने स्वयं के भाषाई एल्गोरिदम का उपयोग करके संसाधित किया जाता है, जिसके बाद यह सामग्री के आधार पर स्वचालित रूप से "iPhone 5s" जैसे एक या अधिक टैग असाइन किया जाता है। अंतिम उपयोगकर्ता को अपने व्यक्तिगत हितों के आधार पर संकलित एक व्यक्तिगत लेख फीड प्राप्त होता है जिसे पांडोरामा प्रणाली द्वारा पहचाना जाता है। पंडोरम की परियोजना को मूल रूप से अंतरराष्ट्रीय बाजार के रूप में संस्थापकों द्वारा योजनाबद्ध किया गया था, जिसका उद्देश्य बड़े पैमाने पर बाजार था, इसलिए अंग्रेजी को समाचार फ़ीड की भाषा के रूप में चुना गया था।

चित्र 1. पंडोरा में पंजीकरण विंडो

पांडोरा वर्तमान में 30 से अधिक आभासी मशीनों (वीएम) के साथ चार समर्पित भौतिक सर्वर किराए पर देता है। स्केलेबिलिटी और फ़ॉल्ट टॉलरेंस प्रदान करने के लिए, निम्नलिखित तकनीकों को लागू किया जाता है:

• ईथरनेट नेटवर्किंग (LACP)
• वेब लोड संतुलन (HAProxy)
• नेटवर्क कनेक्शन संतुलन (DNS राउंड रॉबिन और NLB)
• भौगोलिक रूप से चित्रों और स्थैतिक संसाधनों (CDN) का कैशिंग वितरित किया गया
• नो एसक्यूएल, जिसमें शार्डिंग और मिररिंग शामिल हैं (MongoDB)
• SQL मिररिंग
• वीएम प्रतिकृति और वीएम बैकअप स्थानीय रूप से और वीम बैकअप और प्रतिकृति क्लाउड संस्करण का उपयोग करके क्लाउड पर

इस पर और अधिक नीचे वर्णित किया जाएगा।

पंडोरा इन्फ्रास्ट्रक्चर

किसी भी स्टार्टअप की तरह, पंडोरा का बजट बहुत सीमित है, इसलिए टीम बुनियादी ढांचे सहित यथासंभव हर चीज में पैसा लगाने की कोशिश कर रही है। प्रारंभ में, कई होस्टिंग विकल्पों पर विचार किया गया था। सबसे पहले, उन्होंने अमेज़ॅन के बारे में सोचा, लेकिन प्रारंभिक गणना से पता चला कि यह विकल्प बहुत महंगा है। सामान्य तौर पर, कई मामलों में, अमेज़ॅन एक अच्छा प्रारंभिक बिंदु है यदि वास्तुकला छोटे, अच्छी तरह से प्रतिकृति मॉड्यूल पर बनाया गया है। हालाँकि, पांडोरामा के मामले में यह योजना काम नहीं आई - परियोजना के बुनियादी ढांचे में भाषाई विश्लेषण में शामिल कई "भारी" सर्वर शामिल हैं। बड़ी मात्रा में मेमोरी और फास्ट डिस्क यहां महत्वपूर्ण हैं, और ऐसी वर्चुअल मशीनों को किराए पर लेना (अतिरिक्त दोष सहिष्णुता उपायों को ध्यान में रखते हुए) पंडोरा के लिए बहुत महंगा था। एक और होस्टिंग विकल्प भौतिक सर्वर को उन पर अपने स्वयं के वीएम स्थापित करने के साथ किराए पर ले रहा है। यह रास्ता कीमत के लिए अधिक उपयुक्त निकला।

फिलहाल, अब भौतिक स्तर पर, पंडोरा निम्न बुनियादी ढाँचा है।

चित्रा 2. पांडोरामा अवसंरचना के योजनाबद्ध आरेख - भौतिक सर्वर और नेटवर्क कनेक्टिविटी

संपूर्ण प्रणाली लोड के संदर्भ में संतुलित है और इसमें दोष सहिष्णुता के लिए संग्रहीत डेटा की मात्रा में कुछ अतिरेक है। उदाहरण के लिए, यदि कोई वीएम विफल रहता है, तो डेटा खो नहीं जाएगा, और अन्य वीएम लोड को संभाल लेंगे। कहीं यह वीएम की प्रतिकृति के द्वारा प्राप्त किया जाता है, तो कहीं वीएम के अंदर आवेदन द्वारा डेटा की नकल करके (उदाहरण के लिए, मोंगोडीबी के मामले में)। जैसा कि आपने उल्लेख किया है, पंडोरा के बुनियादी ढांचे में एक भी भंडारण (महंगा) नहीं है, लेकिन सभी वीएम को भौतिक सर्वरों में संतुलित रूप से वितरित किया जाता है।

चार मेजबानों में से प्रत्येक में 128 जीबी रैम और 2 एक्सोन E5-2670 प्रोसेसर हैं। हाइपर-थ्रेडिंग को देखते हुए, 32 वीसीपीयू प्राप्त किए जाते हैं। VM और डेटा की मेजबानी के लिए SATA डिस्क की एक RAID-10 सरणी जिसमें त्वरित पहुंच की आवश्यकता नहीं होती है। सक्रिय I / O के साथ VMs के लिए, SSDs की एक सरणी। SSDs के जीवन का विस्तार करने के लिए, पंडोरामा वास्तुकारों ने सुनिश्चित किया कि अतिथि OS फ़ाइल सिस्टम एक हाइपरविजर के माध्यम से TRIM के साथ काम करते हैं। बेशक, आपको नियमित रूप से स्वयं ड्राइव की स्थिति की जांच करनी चाहिए।

चूंकि प्रत्येक सर्वर में 4 x 1Gb ईथरनेट एनआईसी (केवीएम ओवर आईपी के अलावा) है, इसलिए बुनियादी ढांचे के अंदर 2 नेटवर्क को व्यवस्थित करने का निर्णय लिया गया। होस्टिंग प्रदाता के बुनियादी ढांचे के माध्यम से बाहरी नेटवर्क एक गीगाबिट चैनल के माध्यम से इंटरनेट से जुड़ा हुआ है, और आंतरिक अलग-थलग है। इसी समय, प्रत्येक नेटवर्क में 2 x 1Gb को LACP के साथ एक तार्किक कनेक्शन में जोड़ दिया जाता है। आंतरिक और बाहरी नेटवर्क के पृथक्करण ने बाहरी "क्लाइंट" ट्रैफ़िक पर आंतरिक सेवा ट्रैफ़िक के प्रभाव को आसानी से और आसानी से समाप्त करना संभव बना दिया। और एक ही समय में LACP दोनों प्रदर्शन (इंटरफेस के बीच टीसीपी कनेक्शन को संतुलित करके) और चैनल अतिरेक के माध्यम से गलती सहिष्णुता में सुधार करता है।

तार्किक रूप से पंडोरा के बुनियादी ढांचे को 3 अलग-अलग ब्लॉकों में विभाजित किया जा सकता है।

चित्रा 3. "मॉड्यूल द्वारा पांडोरामा अवसंरचना का योजनाबद्ध प्रतिनिधित्व"

सामग्री वितरण कोर। इस ब्लॉक का कार्यभार उन स्रोतों की संख्या पर निर्भर करता है जिन्हें दरकिनार करने की आवश्यकता है (अब प्रति दिन लगभग 35 हजार), और उन लेखों और ग्रंथों की संख्या जिन्हें संसाधित करने की आवश्यकता है। यह ब्लॉक साइट पर उपयोगकर्ता लोड से ग्रस्त नहीं होना चाहिए। इसके विपरीत, उपयोगकर्ता के साथ बातचीत करने वाले फ्रंट एंड को वितरण समस्याओं का अनुभव नहीं करना चाहिए। ये हिस्से अलग हो गए हैं। तीसरा ब्लॉक, बाइंडर, डेटा को प्रसारित और संग्रहीत करता है।

उदाहरण और उदाहरण के लिए, पंडोरामा पाठ और ग्राफिक्स को इकट्ठा करने और प्रसंस्करण के लिए कई अलग-अलग तंत्रों का उपयोग करता है:

• अप्रासंगिक सामग्री को फ़िल्टर करने के साथ क्रॉलिंग लेख ( getpocket.com या readability.com के समान)
• लेखों की स्वचालित टैगिंग: यह "केक" के बारे में है, और यह "कैमरों" के बारे में है
• इसी तरह के लेख या डबल छवियाँ ढूँढना

लगभग 40 सेवाएं सामग्री वितरण पर काम करती हैं, और उनमें से कुछ के लिए कंप्यूटर-आधारित प्रशिक्षण विधियों का उपयोग किया जाता है (यह एक अलग लेख का विषय है :)। डिलीवरी सेवाओं को उन इकाइयों में पैक किया जाता है जो अपेक्षाकृत स्वतंत्र रूप से काम कर सकती हैं (यह एक वीएम को एक विशिष्ट कॉन्फ़िगरेशन में लगभग 40 सेवाओं से युक्त करता है)। इसके अलावा, इन इकाइयों को अलग-अलग मेजबानों पर दोहराया जाता है, जो डिलीवरी की मापनीयता और दोष सहनशीलता सुनिश्चित करता है।

डेटा कोर के बारे में थोड़ा। इंटरमीडिएट डेटा जिसे भंडारण की आवश्यकता नहीं होती है, उसे रैबिटएमक्यू बस के माध्यम से प्रेषित किया जाता है। यह टायर हल्का और स्पष्ट है। RabbitMQ में कई विफलता विशेषताएं हैं। आप संदेश कतारों को लेन-देन कर सकते हैं, अर्थात उनमें से प्रत्येक को डिस्क पर जबरन सहेजा जाएगा। आप कतार मिररिंग के साथ एक क्लस्टर सेट कर सकते हैं। पंडोरा के लिए, ये तंत्र निरर्थक हो गए, इसलिए एक कोल्ड कॉपी बस बनाया गया था, पड़ोसी मेजबान पर RabbitMQ से VM की एक प्रतिकृति, जो कि मुख्य वीएम काम करना बंद कर देगा।

एक और बात डेटाबेस है। मुख्य डेटाबेस MongoDB है। उत्पादकता और विश्वसनीयता बढ़ाने के लिए, शार्किंग , दर्पण प्रतिकृतियां और बैकअप का उपयोग किया जाता है, जिसके बारे में नीचे चर्चा की जाएगी। एक समस्या बिंदु खराब स्केलेबल SQL डेटाबेस है। तथ्य यह है कि पंडोरा में बहुत सारे कोड हैं जो अभी तक MongoDB के साथ काम में अनुवादित नहीं हुए हैं। इसलिए, SQL का उपयोग कुछ मामलों में किया जाता है, और इसकी गलती सहिष्णुता गर्म आरक्षित - मिररिंग के कारण हासिल की गई थी।

और अब उपयोगकर्ताओं के साथ बातचीत के बारे में - फ्रंट-एंड।

चित्रा 4. एक व्यक्तिगत पंडोरा टेप का एक उदाहरण।

यहां विश्वसनीयता और प्रदर्शन बढ़ाने के लिए प्रौद्योगिकियों का एक पूरा गुच्छा उपयोग किया जाता है। वेब सर्वर के 2 क्लस्टर हैं:

• पहला क्लस्टर उपयोगकर्ता की सेवा करता है और उसके लिए एक व्यक्तिगत सामग्री फ़ीड उत्पन्न करता है। विफलता सुरक्षा और लोड संतुलन HAProxy का उपयोग करके किया जाता है। उसी समय, ताकि HAProxy उदाहरण स्वयं विफलता का बिंदु न बने, उनमें से कई DNS राउंड रॉबिन कॉन्फ़िगर के साथ तैनात किए जाते हैं। यह एक अच्छी पुरानी ट्यूब तकनीक है जो उपयोगकर्ता द्वारा सूची से यादृच्छिक आईपी पता चुनने पर काम करती है। यह आपको एक समर्पित बैलेंसर के बिना लोड वितरित करने की अनुमति देता है, लेकिन उपयोगकर्ता सत्र के बारे में क्या? यह समस्या HAProxy द्वारा हल की गई है, जो यह जानती है कि कौन-सा क्लस्टर वेब सर्वर वर्तमान उपयोगकर्ता की सेवा करता है।
• दूसरा क्लस्टर स्थिर सामग्री देने के लिए डिज़ाइन किया गया है, जहाँ उपयोगकर्ता सत्र की कोई अवधारणा नहीं है। यह वह जगह है जहां DNS राउंड रॉबिन काम में आया होगा, हालांकि, दुर्भाग्य से, पंडोरा में सीडीएन का उपयोग इस तकनीक का समर्थन नहीं करता है, इसलिए एनएलबी को पंडोरा में कॉन्फ़िगर किया गया है।

सीडीएन के बारे में कुछ शब्द। चित्र अपलोड ट्रैफ़िक, पंडोरा के साथ अन्य सभी ट्रैफ़िक से कई गुना अधिक है। सीडीएन के रूप में क्लाउडफ्लोर का उपयोग पंडोरा करता है। कुछ टिप्पणियों के अपवाद के साथ, यह सेवा पूरी तरह से संतुष्ट है और आपको 85% से अधिक ट्रैफ़िक बचाने की अनुमति देती है।

पंडोरामा क्रैश डेटा प्रोटेक्शन

डेटा सुरक्षा और दोष सहिष्णुता का मुद्दा सेवा बुनियादी ढांचे को डिजाइन करने के चरण में भी पैदा हुआ। गलती सहिष्णुता के संदर्भ में, सिस्टम अब इस तरह से कॉन्फ़िगर किया गया है कि यदि एक भौतिक सर्वर विफल हो जाता है, तो शेष तीन खुद पर बोझ उठाएंगे। विफलताओं से डेटा सुरक्षा के संदर्भ में, वीम बैकअप और प्रतिकृति क्लाउड संस्करण बैकअप के माध्यम से बुनियादी ढांचे के आभासी हिस्से की रक्षा करता है और पड़ोसी मेजबानों के लिए प्रमुख कार्यशील आभासी मशीनों की प्रतिकृति है।

पांडोरा में डेटा संरक्षण कैसे समायोजित किया जाता है?

चित्र 5. पंडोरा में डेटा बैकअप के सिद्धांत

1. यदि वीएम के अंदर का एप्लिकेशन अंतर्निहित तरीके से प्रतिकृति की अनुमति देता है, तो इस कार्यक्षमता का उपयोग किया जाता है। उदाहरण के लिए, यह है कि कैसे MongoDB और SQL को प्रतिबिंबित किया जाता है और वेब क्लस्टर में छवि कैश सिंक्रनाइज़ किया जाता है।
2. यदि यह संभव नहीं है, तो पूरे वीएम को दोहराया जाता है, उदाहरण के लिए, रैबिटएमक्यू वीएम - हर 4 घंटे में एक बार।
3. प्रतिकृति के अलावा, पूर्ण और अंतर बैकअप होना चाहिए ... यदि एप्लिकेशन आपको अंतर्निहित कार्यक्षमता का उपयोग करके बैकअप करने की अनुमति देता है, तो आप इसका उपयोग कर सकते हैं, उदाहरण के लिए, SQL या वेब सर्वर लॉग को अलग-अलग फ़ाइलों के रूप में सहेजने के मामले में।
4. अन्यथा, पूरे वीएम का एक बैकअप बनाया जाता है। उदाहरण के लिए, पांडोरामा कमांड एक स्वीकार्य बैकअप समाधान के अभाव में MongoDB से आता है।
5. सप्ताह में एक बार, वीएम बैकअप अमेज़न ग्लेशियर क्लाउड पर अपलोड किए जाते हैं। इसके अलावा, वीयम बैकअप में डिडुप्लीकेशन और कम्प्रेशन बैकअप के आकार को 140GB (मूल VM के आकार) से 10GB तक कम कर देता है।
6. अन्य बैकअप भी क्लाउड पर भेजे जाते हैं। यहां यह ध्यान रखना महत्वपूर्ण है कि वीम न केवल आभासी वातावरण में बैकअप बनाने में मदद करता है, बल्कि इसका उपयोग पांडोरा में अन्य फाइलों को क्लाउड पर अपलोड करने के लिए भी किया जाता है।

वास्तव में, डेटा सुरक्षा के संदर्भ में, पंडोरा ने सफलतापूर्वक 3-2-1 बैकअप नियम को लागू किया: डेटा प्रतियां कम से कम तीन प्रतियों (स्रोत डेटा, स्थानीय प्रतिकृति और क्लाउड में एक प्रति) में संग्रहीत की जाती हैं, दो अलग-अलग भौतिक वातावरणों में (स्थानीय रूप से डिस्क पर) (बादल में), और एक प्रति कार्यालय से बाहर ले जाया गया।

रिकवरी परीक्षण

बैकअप से परीक्षण पुनर्प्राप्ति की प्रासंगिकता पर इस पोस्ट में पहले चर्चा की गई थी। पंडोरा टीम विभिन्न "क्रैश" के बाद एक सिस्टम रिस्टोर टेस्ट का आयोजन कर रही है।

निम्नलिखित परिदृश्यों पर विचार किया जाता है:

• एक VM या भौतिक सर्वर को अक्षम करना। टीम ने विभिन्न घटनाओं का अनुकरण किया, उदाहरण के लिए, एक या पूरे मेजबान के बाद वीएम को डिस्कनेक्ट करना, और यह देखा कि यह पूरे सिस्टम को कैसे प्रभावित करेगा। उसी समय, एक उपयोगकर्ता लोड सिमुलेशन हो रहा था। परीक्षण से कुछ समस्याएं सामने आईं जो बाद में ठीक की गईं।
• पूरा डाटा सेंटर जलकर खाक हो गया। घटनाओं के इस तरह के विकास की स्थिति में डेटा सुरक्षा अमेज़ॅन ग्लेशियर में एक सरल बैकअप है। यह सबसे खराब स्थिति है, और यह पंडोरा के लिए स्वीकार्य है कि सिस्टम रिकवरी एक दो दिनों के भीतर होगी। ऐसा क्यों? क्योंकि इस तरह की दुर्घटना से कम आरटीओ के साथ सुरक्षा एक स्टार्टअप की लागत से अधिक हो सकती है, और यह आवश्यक नहीं है।

निष्कर्ष

पंडोरामा परियोजना का उदाहरण एक बार फिर से साबित होता है: कि बड़ी मात्रा में असंरचित डेटा (बिगडाटा) का भंडारण करना और इसकी रक्षा करना, सिस्टम में खराबी को सहन करना, और इंटरनेट सेवा में कई उपयोगकर्ताओं को एक साथ पहुंच प्रदान करने के लिए समाधान - सब कुछ अपेक्षाकृत सरल, कार्यात्मक रूप से और महंगे तरीके से कॉन्फ़िगर किया जा सकता है। ।

उपयोगी लिंक:

• पंडोरा (अंग्रेजी में)
• बैकअप नियम 3-2-1
• व्हाइटबोर्ड रूस! खरोंच से वर्चुअलाइजेशन (वीडियो, अवधि 1:27)
• एक सुरक्षित आभासी वातावरण के 10 सिद्धांत (वीडियो, अवधि 1:20)
• सैकड़ों वर्चुअल मशीनें: डेटा सुरक्षा दिशानिर्देश
• VMware की निगरानी के लिए 10 सर्वश्रेष्ठ अभ्यास
• कहां से शुरू करेंगी एक बिलियन कंपनी

लेखक: मारिया लेवकिना (वेम) [ vMaria ], कोंस्टेंटिन पिचुगोव (पांडोरामा), अलेक्जेंडर शिरोमनोव (वेइम) [ सममित ]