जब नेटफ्लिक्स ओरेकल डीबी से अमेज़ॅन सिंपलडीबी पर माइग्रेट करता है तो नेटफ्लिक्स सबसे अच्छा अभ्यास करता है

यह एक नेटफ्लिक्स लेख का एक आंशिक अनुवाद है जो ओरेकल डीबी से अमेज़ॅन सिंपलडीबी पर स्विच करने के लिए केवल समस्या क्षेत्रों को संबोधित करता है और कंपनी उन्हें कैसे हल कर सकती है।

2008 के अंत के आसपास, नेटफ्लिक्स में केवल एक डेटा सेंटर था। और इस डीसी ने हमारे लिए कई सवाल उठाए। विफलता के एकमात्र बिंदु के रूप में, उदाहरण के लिए, बिजली के साथ समस्याओं के कारण, यह सेवा के साथ हमारे उपयोगकर्ताओं का असंतोष पैदा कर सकता है। इसके अलावा, स्ट्रीमिंग ट्रैफ़िक और सेवाओं के लिए सदस्यता में एक साथ वृद्धि के साथ, नेटफ्लिक्स जल्द ही इस डेटा सेंटर को आगे बढ़ाएगा - हमने बिजली, बेहतर शीतलन के लिए अपरिहार्य आवश्यकता को देखा, हमें अधिक स्थान और अधिक उपकरणों की आवश्यकता थी।

वैकल्पिक रूप से, नए डेटा केंद्रों का निर्माण संभव था। हालांकि, उच्च लागतों के अलावा, यह प्रयास इस तथ्य को जन्म देगा कि हमारे तकनीकी कर्मचारी नए उत्पादों के साथ सौदा नहीं कर सकते हैं, इसलिए वे डीसी के साथ व्यस्त रहेंगे। इसके अलावा, हम समझ गए कि कई डेटा केंद्रों को प्रबंधित करना एक मुश्किल काम है। कई डेटा केंद्रों का निर्माण और समर्थन हमें हमारे मुख्य व्यवसाय से एक खतरनाक व्याकुलता लग रहा था।

इस रास्ते पर जाने के बजाय, हमने एक अधिक कट्टरपंथी चुना है। हमने IAAS (एक सेवा के रूप में बुनियादी ढाँचा) समाधान पर स्विच किया, जो उस समय अमेज़न वेब सेवा द्वारा पेश किया गया था। पहले से ही चल रहे कई डेटा केंद्रों के साथ, विभिन्न सेवाओं (जैसे S3 और SimpleDB) के लिए कई अतिरेक स्तर, AWS ने अपेक्षाकृत कम समय में बेहतर उपलब्धता और स्केलेबिलिटी का वादा किया है।

विभिन्न नेटवर्क और पृष्ठभूमि कार्यों की आउटसोर्सिंग, नेटफ्लिक्स ने अपने मुख्य व्यवसाय, फिल्मों और श्रृंखला की आपूर्ति पर ध्यान केंद्रित किया।

AWS के संक्रमण में, हमने AP Systems के साथ काम करने के लिए सर्वोत्तम प्रथाओं का एक समूह तैयार किया, जैसे कि SimpleDB।

DBMS को पीछे छोड़ते हुए

आंशिक या कोई नहीं SQL समर्थन। सामान्य तौर पर, SimpleDB उप-SQL का समर्थन करता है

• एप्लिकेशन स्तर पर ग्रुप बीवाई और जॉइन ऑपरेशंस का उपयोग करें।
• JOIN का उपयोग करने से बचने का एक तरीका यह है कि एक ही SimpleDB तार्किक डोमेन में कई तालिकाओं को निरूपित किया जाए

डोमेन के बीच कनेक्शन की कमी

• अनुप्रयोग स्तर संचार को लागू करें

लेन-देन में कमी

• SimpleDB API का उपयोग करें: ConditionalPut और Conditional Delete

कोई ट्रिगर नहीं

• उनके बिना करना संभव है

कोई सर्किट समर्थन नहीं है - इसके अलावा, यह स्पष्ट नहीं है। अमान्य विशेषता नाम वाली क्वेरी में कोई त्रुटि नहीं होती है

• एप्लिकेशन डेटा एक्सेस स्तर पर स्कीमा सत्यापन का कार्यान्वयन।

अनुक्रम समर्थन का अभाव

दृश्यों को अक्सर प्राथमिक कुंजी के रूप में उपयोग किया जाता है।

• इस मामले में, प्राकृतिक अद्वितीय कुंजी का उपयोग करना आवश्यक है, उदाहरण के लिए, ग्राहक संपर्क डोमेन में, कुंजी के रूप में ग्राहक के मोबाइल फोन का उपयोग करें।
• यदि कोई प्राकृतिक कुंजी नहीं है, तो आपको UUID का उपयोग करना चाहिए।

क्रम संख्याओं के लिए भी अक्सर अनुक्रम का उपयोग किया जाता है।

• एक वितरित अनुक्रम जनरेटर का उपयोग करें।

समय के साथ काम करने के लिए कोई ऑपरेशन नहीं

• आप उनके बिना कर सकते हैं

प्रतिबंधों का कोई समर्थन नहीं है, विशेष रूप से, किसी क्षेत्र की विशिष्टता पर कोई प्रतिबंध नहीं है; विदेशी कुंजी का कोई नियंत्रण नहीं है;

• कोई एप्लिकेशन डेटा पढ़ते समय सीमाओं की जांच कर सकता है और तथ्य के बाद समस्या को ठीक कर सकता है। इसे रीड-रिपेयर कहते हैं। रीडिंग रिकवरी को ConditionalPut या ConditionalDelete API का उपयोग करना चाहिए ताकि परिवर्तन परमाणु हो।

SimpleDB में नई चुनौतियां

इसके अलावा, ऐसी विशेषताएं थीं जिनका हमने सामना किया जो कि साधारण डीबीडीबी के लिए विशिष्ट थे। यहाँ उनमें से कुछ हैं:

यदि आप डेटा को कई डोमेन में विभाजित करते हैं, तो SimpleDB डोमेन अधिकतम लेखन गति प्रदान करता है।

• महत्वपूर्ण राइट लोड के साथ सभी नेटफ्लिक्स डेटा को कई डोमेन में वितरित किया गया था।

देशी डेटा प्रकारों के लिए कोई समर्थन नहीं है। सभी डेटा को स्ट्रिंग्स के रूप में संग्रहीत और संसाधित किया जाता है।

सभी तुलना (यानी जहां स्थितियां) और छंटनी केवल तारों के साथ होती है।

• आईएसओ 8601 में सभी तिथियों को स्टोर करें
• सॉर्टिंग और / या WHERE की तुलना में उपयोग किए गए नंबरों के सामने शून्य जोड़ें।

DeleteAtributes और PutAttributes के लिए दो अलग-अलग एपीआई कॉल।

एक परमाणु ऑपरेशन को कैसे करना है जिसमें एक विशेषता को हटाने और एक ही लाइन पर किसी अन्य विशेषता को अपडेट करने की आवश्यकता होती है?

• सबसे आसान विकल्प DeleteAttributes ऑपरेशन के बजाय छद्म शून्य (उदाहरण के लिए, NULL शब्द) का उपयोग करना है।
• यह SimpleDB तालिकाओं के मुक्त स्थान के अनुकूलन को नकारता है और डेटा ब्लोटिंग की ओर जाता है।

केस-संवेदी डोमेन नाम और विशेषताओं का उपयोग करें

कई DBMSs में, टेबल और कॉलम नाम केस असंवेदनशील होते हैं, जबकि SimpleDB में, इसके विपरीत, पुट, डिलीट और सेलेक्ट ऑपरेशंस गलत तरीके से बिना किसी रिपोर्ट के भी काम कर सकते हैं। प्रोग्रामर का कार्य नाम केस मिसमैच के सभी मामलों का पता लगाना है।

• एक समझौते को स्वीकार करें जिससे केवल डोमेन नाम और अपरकेस नामों का उपयोग किया जा सके।
• आवेदन में, डेटा एक्सेस स्तर पर, ऊपरी मामले में स्वचालित रूपांतरण सुनिश्चित करना आवश्यक है।

त्रुटि सूचना के बिना चयन नाम, पुट, या हटाएं विशेषता नाम समाप्त हो सकते हैं।

केस संवेदनशीलता के विपरीत, यह समस्या सर्किट सत्यापन की कमी से उत्पन्न होती है। सरल डीबी न केवल एक विरल डेटाबेस है, बल्कि स्कीमा समर्थन के बिना भी है।

• आवेदन में परत डेटा तक पहुंच के एक बिंदु को लागू करें और वहां सत्यापन को लागू करें।

यदि आप चयन में लिमिट को निर्दिष्ट करना भूल जाते हैं, तो सभी डेटा प्राप्त करने में कई प्रश्न हो सकते हैं।

एकाधिक अनुरोध इस संभावना को कम करते हैं कि साइट को आवश्यक समय अंतराल के लिए सभी डेटा प्राप्त होंगे।

• एप्लिकेशन स्तर पर एकल डेटा एक्सेस बिंदु को नाम दें, आप इसमें सीधे लिटिट सेट कर सकते हैं।
• यदि अमेज़ॅन सीमा बढ़ाता है तो अधिकतम मूल्य किसी भी समय बदला जा सकता है।

"अंतिम स्थिरता " की समस्याओं को ध्यान में रखना भी आवश्यक है।

लिखने के तुरंत बाद विरोधी पैटर्न पढ़ने से बचना चाहिए।

• लिखने के तुरंत बाद पढ़ने से बचें।
• यदि यह संभव नहीं है, तो ConsistentRead का उपयोग करें

गैर-अनुक्रमित प्रश्न बहुत महंगे हो सकते हैं

एंटी-पैटर्न: MY_DOMAIN से चुनें * जहां MY_ATTR_1 पूर्ण है

• NULL की जाँच करने के बजाय TRUE या FALSE के स्ट्रिंग मान के साथ एक अलग ध्वज विशेषता का उपयोग करें। इस प्रकार, क्वेरी सूचकांक का उपयोग करेगी: MY_DOMAIN से यहां * चुनें * MY_ATTR_1 = 'FALSB'

कुछ प्रश्न धीमे हैं, हालांकि अनुक्रमित हैं।

सूचकांक चयनात्मकता अन्य SQL इंजन की तरह गति को प्रभावित करती है

• अन्य डेटाबेस की तरह, डेटा का चयन करने के लिए प्रश्नों का प्रदर्शन WHERE में निर्दिष्ट सूचकांकों की चयनात्मकता द्वारा निर्धारित किया जाता है। सुनिश्चित करें कि आप अपने अनुक्रमित की चयनात्मकता को समझते हैं और आपकी WHERE अभिव्यक्ति उनमें से सबसे अच्छी है।

किसी भी अन्य बहु-उपयोगकर्ता प्रणाली के साथ, प्रतिक्रिया समय में महत्वपूर्ण छलांग हो सकती है।

• अपने एप्लिकेशन को जंप से सुरक्षित रखें जो साधारण सी या एस 3 में कैशिंग सीमांत जैसे कि मेमकेड के साथ होता है

SimpleDB और S3 पर स्विच करने का फैसला करने के बाद, नेटफ्लिक्स ने क्लाउड इंफ्रास्ट्रक्चर में तेजी से पलायन किया, पूरी तरह से उत्पाद लॉन्च और बढ़ी हुई ट्रैफ़िक के लिए नई आक्रामक योजनाओं से लैस। समस्याएं थीं, लेकिन हम लगभग सभी के साथ कामयाब रहे।