Reddit बनाते समय 7 सबक सीखे

युपीडी। मूल लेख काफी पुराना है - 2010। अब स्थिति अलग है।

दिसंबर 2010 में, Reddit में 829M व्यू और 119 सर्वर थे।
2011 के अंत में - 2.07B विचार और 240 सर्वर।

अपडेट करने के लिए पोटोमुशो का धन्यवाद।

UPD 2. रंग धारणा समस्याओं वाले लोगों के लिए योजना को ठीक किया। धन्यवाद दूसरा_पिलॉट और स्पिरिटेडफ्लो

---

प्रस्तुति में, Reddit के रचनाकारों में से एक, स्टीव हफ़मैन ने बताया कि उन्होंने जो सीखा, जबकि उन्होंने Reddit को प्रति माह 7.5 मिलियन उपयोगकर्ताओं को बनाया और विकसित किया, प्रति माह 270 मिलियन पृष्ठ दृश्य और 20 से अधिक डेटाबेस सर्वर।


स्टीव ने स्पष्ट किया कि सीखे गए अधिकांश पाठ स्पष्ट थे, इसलिए प्रस्तुति में मौलिक रूप से नए विचार नहीं होंगे। लेकिन स्टीव के पास विशाल अनुभव है, और यदि वह इस रेक को नहीं देख सकता है, तो शायद आपको इन "स्पष्ट चीजों" पर ध्यान देना चाहिए।


प्रत्येक 7 पाठों को संबंधित अनुभाग में माना जाएगा।

• अक्सर गिर जाते हैं
• सेवा साझा करना
• डेटा स्कीमा खोलें
• राज्यों के भंडारण से बचें
• मेम्कैश
• अनावश्यक डेटा सहेजें
• पृष्ठभूमि में अपने काम का अधिकतम लाभ उठाएं

Reddit वास्तुकला का सबसे दिलचस्प बिंदु "पाठ 6 - Redundant डेटा सहेजें" है। मूल विचार बहुत सरल है - हम सब कुछ पूर्व-गणना करके और इसे कैशिंग करके गति प्राप्त करते हैं। रेडिट अधिकतम गणना का उपयोग करता है। किसी को यह आभास हो जाता है कि आपके द्वारा Reddit पर दिखाई देने वाली सभी चीज़ों की गणना अग्रिम और कैश की गई थी, इसके लिए कि उनके पास कितने डेटा संग्रहीत करने हैं। उदाहरण के लिए, वे संदेशों को सूचीबद्ध करने के लिए सभी 15 तरीकों को कैश करते हैं (गर्म, नया, सबसे अच्छा पुराना, इस सप्ताह, आदि) संदेशों की सूची के लिए जैसे ही कोई लिंक जोड़ता है। साधारण डेवलपर इस तरह के चरम कैश बनाने से डरते हैं, इसे संसाधनों की बर्बादी मानते हैं। लेकिन Reddit टीम को लगता है कि कुछ संसाधनों को धीमा करने की तुलना में खर्च करना बेहतर है। डिस्क स्थान और मेमोरी खर्च करना उपयोगकर्ताओं को प्रतीक्षा करने से बेहतर है। इसलिए यदि आप अभिन्नता और कैशिंग का अधिकतम उपयोग करने के लिए शर्मिंदा थे, तो आपके पास एक अच्छी मिसाल है।

पाठ 1: अक्सर गिरना

पाठ का सार सरल है - स्वचालित रूप से गिराए गए या विफल सेवाओं को पुनरारंभ करें।

समर्पित सर्वरों का उपयोग करने में समस्या यह है कि आप उनके समर्थन के लिए लगातार जिम्मेदार हैं। जब आपकी सेवा क्रैश हो जाती है, तो आपको इसे ठीक करना चाहिए, यहां तक ​​कि दोपहर 2 बजे। यह आपके जीवन में एक निरंतर पृष्ठभूमि तनाव पैदा करता है। आपको लगातार अपने साथ एक कंप्यूटर रखना चाहिए, और आप जानते हैं कि किसी भी समय कोई व्यक्ति किसी अन्य आपदा की सूचना देने के लिए कॉल कर सकता है। जिसे उखड़ना पड़ेगा। यह दृष्टिकोण जीवन को असहनीय बनाता है।

इस समस्या को हल करने के तरीकों में से एक उस सेवा को फिर से शुरू करना है जो मर गई या गलत तरीके से व्यवहार करना शुरू कर दिया। Reddit पर्यवेक्षकों का उपयोग अनुप्रयोगों को पुनः आरंभ करने के लिए करता है। विशेष निगरानी कार्यक्रम उन प्रक्रियाओं को मारते हैं जो बहुत अधिक मेमोरी, प्रोसेसर समय, या बस लटकाते हैं। चिंताओं के बजाय, बस सिस्टम को पुनरारंभ करें। बेशक, आपको गिरावट का कारण समझने के लिए लॉग को पढ़ना होगा। लेकिन ऐसा दृष्टिकोण आपको शांत और तर्क रखने की अनुमति देगा।

पाठ 2: सेवाएं साझा करना

पाठ का सार विभिन्न मशीनों पर समान प्रक्रियाओं और डेटा को समूहित करना है।

एक मशीन पर बहुत अधिक कार्य करने से कार्यों के लिए बहुत सारे संदर्भ स्विच करने की आवश्यकता होगी। अपने प्रत्येक सर्वर को एक निश्चित तरीके से एक विशेष डेटा प्रकार की सेवा देने की कोशिश करें। इसका मतलब है कि आपके सभी इंडेक्स कैश में गिर जाएंगे, और इससे बाहर नहीं गिरेंगे। समान डेटा को एक-दूसरे के जितना संभव हो उतना पास रखें। अजगर धागे का उपयोग न करें। वे धीमे हो जाते हैं। Reddit Developers ने सब कुछ कई सेवाओं में विभाजित किया है। सेवाओं में स्पैम चेकिंग, इमेज प्रोसेसिंग और क्वेरी कैशिंग शामिल हैं। इससे उन्हें कई मशीनों में तोड़ना आसान हो जाता है। इस प्रकार, उन्होंने प्रक्रिया इंटरैक्शन की समस्या को हल किया। और जब यह समस्या हल हो जाती है, तो आर्किटेक्चर क्लीनर बन जाता है और इसे विकसित करना आसान हो जाता है।

पाठ 3: डेटाबेस स्कीमा खोलें

पाठ का सार - योजना के बारे में चिंता न करें।

Reddit डेवलपर्स ने डेटा की संरचना और इसके सामान्यीकरण के बारे में चिंता करने में बहुत समय बिताया। जैसे-जैसे वे बढ़ते गए स्कीमा परिवर्तन और अधिक महंगे होते गए। एक स्तंभ को 10 मिलियन पंक्तियों में जोड़ने से तालों के एक गुच्छा की आवश्यकता होती है, और यह बहुत खराब तरीके से काम करता है। Reddit ने स्केलिंग और बैकअप के लिए प्रतिकृति का उपयोग किया। स्कीमा को अद्यतन करना और प्रतिकृति का समर्थन करना कठिन काम है। कभी-कभी आपको प्रतिकृति को पुनरारंभ करना पड़ता था, और बैकअप पूरे दिन काम नहीं कर सकता था। विज्ञप्ति में भी समस्याएं थीं, क्योंकि यह सुनिश्चित करना आवश्यक था कि सॉफ्टवेयर अपडेट और डेटाबेस स्कीमा अपडेट एक साथ पारित हो।


इसके बजाय, वे इकाई तालिका और डेटा तालिका का उपयोग करते हैं। रेडिट-ई में, सब कुछ एक इकाई है - उपयोगकर्ता, लिंक, टिप्पणियां, उप-मंच, पुरस्कार, आदि। संस्थाएँ कई सामान्य विशेषताओं को साझा करती हैं, जैसे वोट के लिए / विरुद्ध, प्रकार, निर्माण तिथि। डेटा तालिका में 3 कॉलम होते हैं - आइडी, कुंजी, मूल्य। प्रत्येक विशेषता के लिए एक पंक्ति। शीर्षक के लिए एक पंक्ति है, लिंक के लिए, लेखक, स्पैम के लिए वोट, आदि। अब, एक नई सुविधा जोड़ते समय, उन्हें डेटाबेस की संरचना के बारे में चिंता करने की ज़रूरत नहीं है। नई संस्थाओं के लिए नई तालिकाएं जोड़ने या अपडेट की चिंता करने की आवश्यकता नहीं है। विकसित करने और बनाए रखने में आसान। मूल्य - शांत संबंधपरक सुविधाओं का उपयोग करने में असमर्थता। आप शामिल होने का उपयोग नहीं कर सकते हैं और आपको डेटा अखंडता को मैन्युअल रूप से सुनिश्चित करना होगा। ज्वाइन करते समय, या डेटा को कैसे विभाजित किया जाए, इसके बारे में आपको विदेशी कुंजियों के बारे में चिंता करने की आवश्यकता नहीं है। सामान्य तौर पर, यह बहुत अच्छी तरह से निकला। संबंधपरक डेटाबेस के बारे में चिंताएं अतीत की बात हैं।

पाठ 4: स्टोरिंग स्टेट्स से बचें

प्रत्येक सर्वर का लक्ष्य सरल है - किसी भी प्रकार के अनुरोध को संसाधित करना। और Reddit बढ़ने के दौरान, उन्हें अधिक से अधिक मशीनों का उपयोग करना पड़ा, और एप्लिकेशन सर्वर कैश पर भरोसा करना अब संभव नहीं था। प्रारंभ में, उन्होंने प्रत्येक एप्लिकेशन सर्वर की स्थिति को दोहराया, जो रैम की बर्बादी थी। वे मेमकाटेड का उपयोग नहीं कर सकते थे, क्योंकि वे स्मृति में बड़ी मात्रा में छोटे डेटा रखते थे, जो गति में वृद्धि नहीं देता था। वे मेमकाचे का समर्थन करने के लिए एक सेवा को फिर से लिखते हैं और अब एप्लिकेशन सर्वर में स्टोर नहीं करते हैं। भले ही एप्लिकेशन सर्वर क्रैश हो जाए, लेकिन जीवन बंद नहीं होता है। और स्केलिंग अब केवल नए सर्वर को जोड़ने की बात है।

पाठ 5: संस्मरण

लब्बोलुआब यह है कि हर चीज के लिए मेमचे का उपयोग करना है।

Reddit के लिए memcache का उपयोग करता है:

1. डेटाबेस डेटा
2. सत्र डेटा
3. पेज जेनरेट किए गए
4. आंतरिक कार्यों के संस्मरण (पहले गणना किए गए परिणामों की कैशिंग)
5. अनुरोधों की संख्या पर सीमा
6. पूर्व-गणना सूचियों और पृष्ठों को संग्रहीत करना
7. वैश्विक ताले

अब वे सभी डेटा को मेमकेच्ड में स्टोर करते हैं, पोस्टग्रेज के नहीं। यह मेमेचे का एक एनालॉग है, लेकिन डेटा को डिस्क पर सहेजता है। बहुत जल्दी ठीक। सभी अनुरोध कोड के एक ही टुकड़े द्वारा उत्पन्न होते हैं और मेमेचे में कैश किए जाते हैं। परिवर्तित पासवर्ड, लिंक 20 मिनट या तो के लिए कैश हैं। कैप्चा के लिए भी यही कहा जा सकता है। वे लिंक के लिए उसी दृष्टिकोण का उपयोग करते हैं जो हमेशा के लिए संग्रहीत नहीं करना चाहते हैं।

उन्होंने अपने ढांचे में संस्मरण का निर्माण किया। गणना किए गए परिणाम भी कैश किए गए हैं: सामान्यीकृत पृष्ठ, सूचियां, और सब कुछ।

वे जीवन भर मेमकेच + सीमित अनुरोध का उपयोग करके अनुरोधों की संख्या को सीमित करते हैं। अपने सिस्टम को हमलों से बचाने का एक अच्छा तरीका है। ऐसे सबसिस्टम के बिना, कोई भी बेईमान उपयोगकर्ता सिस्टम को नीचे रख सकता है। फेंग शुई न करें। इसलिए, उपयोगकर्ताओं और इंडेक्सर्स के लिए, वे मेमेक में डेटा स्टोर करते हैं। यदि उपयोगकर्ता एक सेकंड से भी कम समय में बार-बार कॉल करता है, तो उसे बंद कर दिया जाता है। साधारण उपयोगकर्ता इतनी जल्दी क्लिक नहीं करते हैं, इसलिए वे कुछ भी नोटिस नहीं करते हैं। Google अनुक्रमणिका आपको जितनी बार अनुमति देगा, उतनी बार प्रक्रिया करेगा, इसलिए जब सब कुछ धीमा होने लगे, तो बस अनुरोधों की आवृत्ति सीमित करें। और सिस्टम उपयोगकर्ताओं के लिए असुविधा पैदा किए बिना अधिक शांति से काम करना शुरू कर देगा।

Reddit में सब कुछ एक सूची है। होम पेज, निजी संदेश, टिप्पणी पृष्ठ। उन सभी को अग्रिम में गणना की जाती है और कैश में रखा जाता है। जब आप एक सूची प्राप्त करते हैं, तो इसे कैश से लिया जाता है। प्रत्येक लिंक और प्रत्येक टिप्पणी की संभावना 100 विभिन्न रूपों में संग्रहीत की जाती है। उदाहरण के लिए, 30 सेकंड पहले बनाए गए 2 वोटों के साथ एक लिंक प्रदान किया जाता है और अलग से बचाया जाता है। 30 सेकंड के बाद, यह फिर से प्रस्तुत करता है। और इसी तरह। HTML का हर टुकड़ा कैश से आता है। इसलिए, रेंडरिंग पृष्ठों पर सीपीयू का समय बर्बाद नहीं होता है। यदि सब कुछ धीमा होने लगे, तो बस अधिक कैश जोड़ें।

जब वे अपने गैर-चिकना डेटाबेस के साथ काम करने के लिए आते हैं, तो वे ग्लोबल लॉक के रूप में मेम्चे का उपयोग करते हैं। यह काम करता है, हालांकि यह सबसे अच्छा विकल्प नहीं है।

पाठ 6: अनावश्यक डेटा सहेजें

सबक का सार: अधिकतम गति प्राप्त करने के लिए - अग्रिम में सब कुछ गणना करें और परिणाम को कैश करें।

एक धीमी वेबसाइट बनाने के लिए गारंटीकृत तरीका एक सामान्यीकृत डेटाबेस है, इसे मांग पर एक्सेस करें, और फिर HTML उत्पन्न करें। यह एक अनुरोध के लिए भी हमेशा के लिए ले जाता है। इसलिए, यदि आपके पास डेटा है जो कई स्वरूपों में प्रदर्शित किया जा सकता है, तो मुख्य पृष्ठ पर लिंक, आने वाले संदेशों में, प्रोफाइल, इन सभी विचारों को अलग-अलग संग्रहीत करते हैं। लेकिन जब कोई अंदर आता है और डेटा एक्सेस करता है, तो वे तैयार होते हैं।

प्रत्येक सूची में 15 अलग-अलग प्रकार के आदेश हो सकते हैं (गर्म, नया, सबसे अच्छा, पुराना, चालू सप्ताह)। जब कोई नया लिंक जोड़ता है, तो वे उन सभी सूचियों को पुनः प्राप्त कर लेते हैं जिनसे यह चिंता हो सकती है पहली नज़र में, यह बहुत बेकार लग रहा है, लेकिन पहले धीमा करने की तुलना में पैसा खर्च करना बेहतर है। उपयोगकर्ता को प्रतीक्षा में रखने से डिस्क स्पेस और मेमोरी बर्बाद करना बेहतर है।

पाठ 7: पृष्ठभूमि में अपने काम का सबसे अधिक लाभ उठाएं

पाठ का सार: सर्वर साइड पर एक न्यूनतम करें, और उपयोगकर्ता को बताएं कि सब कुछ तैयार है।

यदि आपको कुछ करने की आवश्यकता है, तो इसे तब करें जब उपयोगकर्ता आपकी प्रतीक्षा नहीं कर रहा हो। नौकरी की कतार। जब कोई उपयोगकर्ता Reddit पर वोट करता है, तो उपयोगकर्ता के कर्म, सूची और कई अन्य चीजें अपडेट की जाती हैं। इसलिए, मतदान करते समय, मतदान के तथ्य को चिह्नित करने के लिए डेटाबेस को अपडेट किया जाता है। उसके बाद, कार्य पंक्तिबद्ध है, और कार्य सभी 20 चीजों को जानता है जिन्हें अद्यतन करने की आवश्यकता है। जब उपयोगकर्ता वापस लौटता है, तो सभी आवश्यक डेटा कैश किए जाएंगे।


Reddit पृष्ठभूमि में क्या करता है:

1. कैश सूची
2. प्रक्रिया चित्र
3. थिएटर की खोज करें
4. स्पैम को हटा दें
5. पुरस्कारों की गणना की जाती है
6. अपडेट इंडेक्स

उपयोगकर्ता को आपकी प्रतीक्षा करते समय इन चीजों को करने की कोई आवश्यकता नहीं है। उदाहरण के लिए, जब Reddit लोकप्रिय हो गया, तो रेटिंग बढ़ाने के प्रयास अधिक बार होने लगे। इसलिए, वे ऐसी स्थितियों का पता लगाने के लिए बहुत अधिक समय देते हैं। पृष्ठभूमि में इस सेवा का काम उपयोगकर्ताओं को आगे मतदान करने से नहीं रोकता है।


निम्नलिखित एक वास्तुकला आरेख है:


नीला तीर संकेत करता है कि अनुरोध प्राप्त होने पर क्या होता है। मान लीजिए कि कोई व्यक्ति लिंक या वोट छोड़ देता है। यह डेटा कैश, मुख्य डेटाबेस और नौकरी कतार में जाता है। परिणाम उपयोगकर्ता को वापस कर दिया जाता है। ऑफ़लाइन होने वाली अन्य चीजों का प्रतिनिधित्व पीले तीर द्वारा किया जाता है। स्पैम, प्रीकम्प्यूटर और थुमनाईलर जैसी सेवाएँ कतार से नौकरी प्राप्त करती हैं, उन्हें निष्पादित करती हैं और डेटाबेस को अपडेट करती हैं। तकनीकी समाधान का मुख्य आकर्षण RabbitMQ है।

पुनश्च। एर्डैंग पर अनुप्रयोगों को डिजाइन करने के अभ्यास के साथ रेडिट के सबक की तुलना करना बहुत दिलचस्प है। इसे असफल होने दो, पर्यवेक्षण वृक्ष, मेन्सिया। OTP के लिए प्रलेखन का रूसी अनुवाद यहां पाया जा सकता है ।

PPS एक्शन में RabbitMQ के कुछ अध्यायों का अनुवाद करने का विचार है। कितना दिलचस्प होगा?