हमने Yandex.Mail में खोज कैसे तेज की और एक ही समय में 25 सर्वरों को मुक्त किया

हमने पहले से ही लिखा है कि यैंडेक्स में पत्रों को खोजने का काम कैसे किया जाता है । मेल का आयोजन किया जाता है । तब से, बहुत कुछ बदल गया है और सुधार हुआ है, इसलिए हमने अपना अनुभव साझा करने और आपको इन परिवर्तनों के बारे में बताने का फैसला किया है।

प्रति दिन लगभग 100M पत्र मेल पर आते हैं, जिनमें से 10M संलग्नक के साथ होते हैं। इस तथ्य के बावजूद कि केवल 10% पत्रों में एक लगाव होता है, अक्षरों के साथ संलग्नक उन लोगों का एक महत्वपूर्ण अनुपात है जिनमें एक से अधिक फ़ाइल हैं। औसतन, यह पता चलता है कि अक्षरों की कुल संख्या उनके साथ संलग्नकों की कुल संख्या के बराबर है।



एक अनुलग्नक के साथ एक पत्र का औसत आकार 400 केबी है, और बिना लगाव के पत्र 4 केबी हैं। एक पत्र में संलग्नक का कुल आकार 30 एमबी तक पहुंच सकता है। शीर्ष 10 प्रकार के अटैचमेंट: .jpg, .pdf, .xls, .rar, .doc.zip, .eml, .mp3, .tif, .docx पाठ को छोड़कर लगभग सभी फ़ाइल स्वरूपों में अतिरेक की अधिक मात्रा में जानकारी होती है। इसलिए, उदाहरण के लिए: .docx प्रारूप में, औसतन केवल 10% पाठ्य जानकारी होती है, और jpg से हमें खोज में अनुक्रमण के लिए केवल 0.25% मेटा-जानकारी मिलती है।

यह प्रति दिन 25 टीबी के आदेश के आने वाले ट्रैफ़िक की कुल राशि देता है, जो बड़े और जटिल मेल उत्पाद के कामकाज को सुनिश्चित करने के लिए कई बार बढ़ाया जाता है। इस तरह के भार की सेवा करने के लिए, Yandex.Mail ने एक बड़ा नेटवर्क, सर्वर और सेवा अवसंरचना तैयार की, जिसमें विभिन्न डेटा केंद्रों में वितरित कई क्लस्टर शामिल हैं।

मेल के सभी अक्षर डिलीवरी सिस्टम पर जाते हैं - सैकड़ों सर्वरों का एक समूह। डिलीवरी सिस्टम मेल रिपॉजिटरी में अक्षरों को सहेजने की कोशिश करता है, अक्षरों की मेटा-सूचना रिपॉजिटरी और उन्हें एक खोज में भेजती है - अर्थात्, एक ही बार में तीन अलग-अलग स्थानों पर, जिनमें से प्रत्येक अपना कार्य करता है।

चिट्ठों का भंडार भंडारण और वापस करने के लिए जिम्मेदार है, अनुरोध पर, प्रत्येक पत्र की पूरी सामग्री और किसी कारण से ऐतिहासिक रूप से मुल्का कहा जाता है। यैंडेक्स में पत्रों को स्टोर करने के लिए। मेल ने 700 खच्चर सर्वरों को तैनात किया। यह पत्र की सामग्री, शीर्षकों, अनुलग्नकों को संग्रहीत करता है - एक शब्द में, पत्र से संबंधित सब कुछ।

मेटा-सूचना रिपॉजिटरी का उपयोग इनबॉक्स को जल्दी से प्रदर्शित करने के लिए किया जाता है और इसमें केवल वर्णनात्मक भाग होता है। उदाहरण के लिए, "से", "से", "विषय" फ़ील्ड, उस फ़ोल्डर का नाम जिसमें पत्र वर्तमान में स्थित है, इसका वर्तमान लेबल, लेखन की तारीख आदि। मेटा-इंफॉर्मेशन क्लस्टर में 60 सर्वर हैं।

सर्च रिपॉजिटरी एक खोज इंडेक्स है जिसमें एक पत्र से सभी जानकारी होती है जिसे मेलबॉक्स में एक त्वरित पूर्ण-पाठ खोज प्रदान करने के लिए आवश्यक होता है, खाता आकृति विज्ञान में। खोज सेवा, अनुक्रमण और खोज के कार्यों का प्रदर्शन, एक साथ एक सौ और चालीस सर्वर में लगे।

एक पत्र को तब माना जाता है जब वह पत्रों के भंडार में और मेटा-सूचना के भंडार में होता है। खोज में पत्रों का वितरण रिपॉजिटरी में बिछाने के बाद किया जाता है। खोज में पत्रों के वितरण के लिए पच्चीस सर्वरों से युक्त एक अलग सेवा समूह आवंटित किया गया है। इस क्लस्टर पर, इंडेक्सेशन की प्रतीक्षा करने वाले पत्रों की कतारें हैं, और प्रोग्राम जो इंडेक्सिंग के लिए डेटा तैयार करते हैं।

इस प्रकार, पत्र, मेल में हो रहे हैं, एक लंबा रास्ता तय करना है। सबसे पहले, उन्हें भंडार में जोड़ा जाता है, फिर वे सेवा समूह में आते हैं, और वहां उन्हें खोज के लिए भेजे जाने के लिए तैयार किया जाता है।



लेकिन एक पत्र खोज न केवल एक पत्र के शरीर में एक खोज है , बल्कि संलग्नक की सामग्री में भी एक खोज है। इसे प्रदान करने के लिए, अनुलग्नक के रूप में भेजी गई फ़ाइलों को पूर्व-संसाधित किया जाना चाहिए, खोज के लिए पाठ रूप में निकाला गया और भेजा गया पाठ।

कई साल पहले, ऊपर घोषित मूल वास्तुकला को बदलने के बिना, हमने अनुलग्नकों की सामग्री पर एक खोज शुरू की। इसने कई समस्याओं को जन्म दिया। सबसे पहले, कुछ प्रकार की फाइलें (विशेष रूप से .pdf) को लंबे समय तक संसाधित किया गया था - कई मिनट तक, और खोज में नए अक्षरों की डिलीवरी को धीमा कर दिया। दूसरे, इंडेक्सिंग प्रोग्राम और सर्विसेज क्लस्टर में रूपांतरण कार्यक्रम के बीच संसाधनों के लिए लगातार प्रतिस्पर्धा थी, जिसने नए संदेशों की खोज को भी धीमा कर दिया। और तीसरा, जब हमने पूरे पत्र को सेवा समूह के साथ संलग्न करना शुरू किया, तो हमने वास्तव में यांडेक्स नेटवर्क के अंदर मेल यातायात को दोगुना कर दिया। इंट्रानेट ट्रैफ़िक में प्रति दिन 25 टीबी की वृद्धि हुई, और यह निजी सेवाओं के लिए उपयोगी संसाधनों पर एक भार है और एक पूरे के रूप में यांडेक्स के लिए: सर्वर, नेटवर्क इन्फ्रास्ट्रक्चर, और कुल नेटवर्क प्रदर्शन।

इसलिए, हमें सेवा की गुणवत्ता के लिए संघर्ष करना पड़ा। मिनटों के बाद पत्रों को खोज में आने की अनुमति देना असंभव था। इसके अलावा, अनुलग्नकों की खोज शुरू करने से पहले, आने वाले सभी पत्रों का 95% एक सेकंड से भी कम समय में खोज में गिर गया।

केवल रिपॉजिटरी में उनकी संपूर्णता में पत्र देने के लिए एक विचार था, और रिपॉजिटरी से सीधे संरचित पाठ को वापस करने की खोज में। प्रारंभिक अध्ययनों से पता चला है कि खोज के लिए आवश्यक पाठ का औसत आकार मेल में एक पत्र के औसत आकार से 10 गुना छोटा है। इसलिए, यदि खोज में केवल पाठ दिखाई देता है, तो खोज द्वारा उपभोग किया गया नेटवर्क ट्रैफ़िक 10 गुना कम होगा, जो प्रति दिन लगभग 22 Tb बचाएगा। ऐसा लगता है कि यातायात बचाने के लिए, खेल मोमबत्ती के लायक है।

स्टोरेज प्रदर्शन के लिए छोटे सेवा क्लस्टर से बड़े परिमाण के दो ऑर्डर खोजने के लिए रिपॉजिटरी प्रदर्शन का उपयोग करना भी एक आकर्षक विचार था। इससे हमें तेजी लाने में मदद मिलेगी। तो उन्होंने किया।

ताकि आवाज वाले विचार को लागू किया जा सके, और हम सीधे रिपॉजिटरी से पत्र और संलग्नक की सामग्री प्राप्त कर सकें, इसके सर्वर पर संलग्नक की सामग्री को निकालने के लिए एक कार्यक्रम रखना आवश्यक था। यह कार्यक्रम Apache Tika लाइब्रेरी पर आधारित है, इसलिए रूसी भाषा के साथ सरलता और अनुरूपता के लिए, डेवलपर ने इसे Tikaite कहा। जब टिकैते को मुल्का पर रखा गया था, तो यह महत्वपूर्ण था कि पत्रों के भंडारण को नुकसान न पहुंचे, इसलिए हमने लोड का विस्तार से अध्ययन किया और देखा कि भंडारण डिस्क स्थान पर लोड किए गए हैं और उनके पास पर्याप्त मुक्त प्रोसेसर प्रदर्शन संसाधन है जिसका उपयोग किया जा सकता है।

हमने रिपॉजिटरी में गंभीर प्रतिबंधों के साथ विभिन्न स्वरूपों से पाठ निकालने के लिए एक कार्यक्रम रखा: कार्यक्रम प्रोसेसर के 50% प्रदर्शन के साथ प्रदान किया गया था और प्रत्येक सर्वर पर 1 जीबी रैम आवंटित किया गया था। इस तरह के प्रतिबंधों ने हमें रिपॉजिटरी में रूपांतरण प्रक्रिया शुरू करने की अनुमति दी और भंडारण प्रक्रिया में हस्तक्षेप नहीं किया।



परिणामस्वरूप, हमने सहज इंट्रानेट ट्रैफ़िक को कम किया और परिमाण के दो आदेशों द्वारा खोज के लिए पत्र पहुंचाने के लिए प्रणाली के प्रदर्शन को बढ़ाया - फिर से, 95% पत्र एक सेकंड के भीतर खोज में जाने लगे। डिलीवरी के समय, हमें खोज के लिए पत्र पहुंचाने के लिए क्लस्टर के 25 मुफ्त सर्वरों में एक अतिरिक्त बोनस प्राप्त हुआ। यदि शुरू में हमने सेवाओं के क्लस्टर को 2 गुना बढ़ाने की योजना बनाई और 50 सर्वर प्राप्त किए, तो कभी-कभी बढ़ते प्रवाह का सामना करने के लिए, अब जब खोज के लिए आवश्यक सभी डेटा सीधे मेल रिपॉजिटरी में तैयार किए जाते हैं, तो वास्तव में हमारे पास 25 सर्वरों का एक पूरा क्लस्टर है जो कि मुक्त हो गया है। इसलिए निकट भविष्य में हम इसे अन्य कार्यों के लिए उपयोग करने में सक्षम होंगे, जिसके बारे में हम आपको निश्चित रूप से बताएंगे।

PS और मेल द्वारा खोज करने के लिए, Yandex.Mail के संपूर्ण अस्तित्व पर संचित सभी पत्रों की पुन: खोज समय-समय पर आवश्यक है। यह तब होता है जब खोज एल्गोरिदम को बदलना आवश्यक होता है, और इसके लिए खोज में पर्याप्त डेटा नहीं होता है। इस समय, हम वास्तव में मेल में संग्रहीत अक्षरों के पूरे सरणी को संसाधित कर रहे हैं, और यह अब लगभग 10 पेटाबाइट्स है। और यहाँ यह नेटवर्क ट्रैफ़िक और प्रदर्शन में केवल एक भारी बचत है।

परिणाम के बावजूद, हम वहाँ रुकने की योजना नहीं बनाते हैं। हम उसी समय खोज में पत्रों के वितरण को भंडारण में डालने का प्रयास करेंगे और इसके लिए हम मुक्त किए गए क्लस्टर का उपयोग करेंगे। Yandex.Mail में खोज के बारे में नए प्रकाशनों में इसके बारे में जानकारी के लिए प्रतीक्षा करें।