विरोधी स्पैमर्स का कठिन जीवन या यह वास्तव में कैसे होता है

इस प्रकाशन का कारण हमारी मेल सेवा में एंटी-स्पैम तंत्र के लिए हाल के बड़े बदलाव थे। हम समाचार साझा करना चाहते हैं, लेकिन सूखे प्रेस विज्ञप्ति के रूप में नहीं। इसलिए, हमने इस बारे में बात करने का फैसला किया कि एंटीस्पैम को मेल में कैसे व्यवस्थित किया जाता है। मेल में, और निश्चित रूप से - खुशी के साथ आपके सवालों का जवाब देने के लिए। इसलिए ...

Mail.Ru एंटीस्पैम आर्किटेक्चर

Mail.Ru में खुद का एंटीस्पैम कई सालों से है। हमारे अपने उत्पाद को विकसित करने की इच्छा समझ में आती है, क्योंकि परियोजना के विकास में एक निश्चित चरण में, एंटी-स्पैम तंत्र की गुणवत्ता और मापनीयता के लिए आवश्यकताओं को बहुत अधिक अनुकूलित "एलियन" उत्पादों द्वारा भी संतुष्ट होने के लिए बहुत अच्छा हो गया। बेशक, हम अभी भी तृतीय-पक्ष विक्रेताओं की कुछ सेवाओं और घटकों का उपयोग करते हैं (उदाहरण के लिए, वायरस घटक के लिए पत्रों की जांच करने के लिए), लेकिन उनकी भूमिका अब निर्णायक नहीं है।

हमारे अपने विरोधी स्पैम की आवश्यकताएं बहुत समझ और तार्किक थीं - प्रतिक्रिया की अधिकतम गति और सटीकता। बेशक, पूर्णता की कोई सीमा नहीं है, अपने विरोधियों के साथ स्पैमर्स का संबंध ढाल और तलवार का शाश्वत संघर्ष है। लेकिन अब हम विश्वास के साथ कह सकते हैं कि हमने अपने पोषित लक्ष्य की दिशा में गंभीर प्रगति की है और गति का निर्माण जारी है।

तो, यह कैसे दिखता है और काम करता है - Mail.Mail.Ru का आधुनिक एंटीस्पैम?

सबसे पहले, यहां तक ​​कि मेल सर्वरों के "दृष्टिकोण" पर भी, सभी प्रेषकों को स्पैम मेलिंग में देखे गए आईपी पते के आधार के खिलाफ जांच की जाती है। डेटाबेस को वास्तविक समय में गतिशील रूप से अपडेट किया जाता है: कुछ आईपी "व्हाइटवॉश" होते हैं, अन्य "ब्लैक लिस्ट" में आते हैं। तदनुसार, एक "कलंकित" प्रतिष्ठा वाले आईपी पते के पत्र स्वीकार नहीं किए जाते हैं - इस तरह हम अधिकांश बॉटनेट को काटने का प्रबंधन करते हैं।

यदि प्रेषक का IP काली सूची में नहीं है, तो संदेश सर्वर द्वारा प्राप्त किया जाता है और दो एंटी-स्पैम सिस्टम द्वारा जांचा जाता है: Kaspersky Anti-Spam (या संक्षेप में KAS) और Mail.Ru में विकसित स्पैम फ़िल्टरिंग सिस्टम - MRAS (Mail.Ru Anti-Spam)। ये दो प्रणालियां हमेशा समानांतर में काम करती हैं।

एमआरएएस नाम, विशेष रूप से, मेल.रू से गुजरने वाले लगभग हर पत्र के सेवा प्रमुखों में प्रकट होता है। उदाहरण के लिए, शीर्षक "X-Mras: Ok" इंगित करता है कि इस संदेश में कोई स्पैम हस्ताक्षर नहीं पाए गए थे।

एमआरएएस आर्किटेक्चर का चयन करते समय, हमने सबसे आम दृष्टिकोण लिया: स्पैम ईमेल के नमूने एकत्र करना, उनका विश्लेषण करना और हस्ताक्षर बनाना। इसे सीधे शब्दों में कहें, एक हस्ताक्षर एक पत्र में सार्थक जानकारी का एक टुकड़ा है: फोन नंबर, लिंक, विशेषता वाक्यांश या कीवर्ड, आदि। एमआरएएस में एक संदेश का मूल्यांकन सरल तर्क के अनुसार हस्ताक्षर के अनुसार किया जाता है: यदि संदेश में हस्ताक्षर स्पैम मेलिंग के लिए विशिष्ट हैं, तो सबसे अधिक संभावना है कि यह पत्र स्पैम है।

अलग से, यह ग्राफिक स्पैम के लिए मान्यता प्रणाली को ध्यान देने योग्य है। पत्र में आने वाली प्रत्येक तस्वीर का विश्लेषण किया जाता है और यह भी हस्ताक्षर में विघटित होता है कि निर्णय में शामिल हैं। उदाहरण के लिए, एंटीस्पैम आत्मविश्वास से ग्राफिक रूप से लिखे गए साइटों के फोन नंबर और पते निर्धारित करता है, और एल्गोरिथ्म विकृत और शोर छवियों के साथ भी काम करता है।

हस्ताक्षर के अलावा, एमआरएएस में तथाकथित नियम हैं जो अधिक जटिल तर्क का वर्णन करते हैं। एमआरएएस में नियमों का उपयोग करते हुए, आप ऐसे फ़िल्टर बना सकते हैं जो कई संदेश विशेषताओं को ध्यान में रखते हैं, जिनमें सेवा हेडर, छवि पैरामीटर, लिंक प्रारूप या पैटर्न, संदेश में किसी भी इकाई की आवृत्ति और प्रतिष्ठा विशेषताओं आदि शामिल हैं।

जब हमने नियमों के कार्यान्वयन के लिए इंजन का चयन किया, तो विभिन्न विकल्पों पर चर्चा की गई। मुख्य आवश्यकताएं थीं: उच्च प्रदर्शन, वाक्यविन्यास लचीलापन और आसान एक्स्टेंसिबिलिटी। हमने पाया कि Lua एम्बेडेड दुभाषिया उपरोक्त शर्तों को पूरा करता है। नतीजतन, हमें एक शक्तिशाली और लचीला उपकरण मिला जो न केवल नियम बनाने के लिए उपयोगी था। अब, लुआ-लिपियों की मदद से, MRAS व्यवसाय तर्क का एक महत्वपूर्ण हिस्सा लागू करता है, उदाहरण के लिए, छवियों और फ़्रीक्वेंसी शिंगल के लिए तंत्र, विभिन्न प्रतिष्ठा तंत्र।

स्पैम मेलिंग के बारे में MRAS को कैसे पता चलता है?

MRAS के लिए स्पैम नमूनों के कई स्रोत हैं। मुख्य स्रोत उपयोगकर्ताओं को मेल के वेब इंटरफेस में "यह स्पैम है" बटन पर क्लिक करने से शिकायत है। उन्हें समूहीकृत किया जाता है, स्वचालित रूप से फ़िल्टर किया जाता है, और फिर निर्णय लेने की प्रणाली में खिलाया जाता है।

सबसे महत्वपूर्ण स्रोतों में से एक ट्रैप बॉक्स है - विशेष रूप से पंजीकृत और "जलाया" बॉक्स इंटरनेट पर, जहां केवल स्पैम मिलता है। बाह्य रूप से, वे सामान्य उपयोगकर्ताओं के बक्से की तरह दिखते हैं - ये माई वर्ल्ड और अन्य सामाजिक नेटवर्क, मंचों पर संदेश और अतिथि पुस्तकों आदि में हो सकते हैं। इंटरनेट पर पतों के एक डेटाबेस को इकट्ठा करने वाली अनौपचारिक मेलिंग सूचियों में कई "ट्रैप्स" को हुक करने की संभावना है - और जब कोई पत्र उन पर आता है, तो यह संभवतः स्पैम हस्ताक्षरों के लिए मुख्य एक के रूप में काम करेगा।

अंत में, तीसरे चरण में, PochtaMail.Ru विश्लेषकों का एक समूह है, जो वास्तविक समय 24x7 मोड में, उन उपयोगकर्ताओं से प्राप्त शिकायतों का विश्लेषण करते हैं जो स्पैम हो सकते हैं, जाल बॉक्स की सामग्री आदि।

अगला, MRAS से निकलने वाले पत्र का क्या होता है? अक्षरों के महत्वपूर्ण हस्ताक्षरों पर काम करने के बाद, MRAS आउटपुट पत्र को एक अंतिम स्कोर देता है, जो तीन मानों में से एक ले सकता है:

1. पत्र स्पैम नहीं है
2. ईमेल स्पैम हो सकता है
3. पत्र निश्चित रूप से स्पैम है।

वही रेटिंग KAS द्वारा दी जाती है। यदि दोनों एंटी-स्पैम सिस्टम संदेश को अच्छा मानते हैं, तो संदेश को इनबॉक्स फ़ोल्डर में भेज दिया जाता है, यदि एक या दोनों सिस्टम संदेश को संभव स्पैम के रूप में चिह्नित करते हैं, तो स्पैम फ़ोल्डर में। यदि सिस्टम में से कम से कम एक सुनिश्चित है कि पत्र स्पैम है, तो ऐसा संदेश उपयोगकर्ता तक नहीं पहुंचता है, और प्रेषक को बाउंस संदेश प्राप्त होता है।

यह ध्यान रखना महत्वपूर्ण है कि एक ही सिस्टम Mail.Ru सर्वर से आउटगोइंग ईमेल को संसाधित करता है। इसलिए यदि कोई उपयोगकर्ता स्पैम ईमेल भेजने की कोशिश करता है, तो उसे एक सूचना मिलती है कि संदेश नहीं भेजा जा सकता है।

यह ध्यान रखना दिलचस्प है कि एमआरएएस न केवल प्रवेश द्वार पर संदेश की जांच करता है, बल्कि उपयोगकर्ता मेलबॉक्स में आने के कुछ समय बाद भी - यह इस तथ्य के कारण है कि स्पैम मेलिंग पर नया डेटा स्थिति बदल सकता है और तदनुसार, सिस्टम की राय। इसलिए, यदि उस समय जब संदेश MRAS द्वारा संसाधित किया गया था, तो इसे स्पैम के रूप में नहीं पहचाना गया था, और कुछ मिनटों के बाद यह पहले से निर्धारित था, MRAS संदेश को इनबॉक्स से स्पैम फ़ोल्डर में स्थानांतरित करता है। स्वाभाविक रूप से, उपयोगकर्ता द्वारा इनबॉक्स में लॉग इन करने और अक्षरों को देखने से पहले यह सख्ती से होता है।

ऊपर कहा गया था कि सभी स्वचालित स्पैम फ़िल्टरिंग प्रणाली है जो सभी उपयोगकर्ताओं के लिए काम करती है। हालांकि, विभिन्न उपयोगकर्ताओं की अलग-अलग प्राथमिकताएं हैं, इसलिए हाल ही में हमने स्पैम फ़िल्टरिंग के एक व्यक्तिगत (व्यक्तिगत) घटक को पेश किया।

नया क्या है

यह कोई रहस्य नहीं है कि सामाजिक नेटवर्क, ऑनलाइन गेम, ऑनलाइन स्टोर और अन्य सेवाओं के बड़े पैमाने पर प्रसार के साथ जो ई-मेल के माध्यम से अपने दर्शकों के साथ सक्रिय रूप से संवाद करते हैं, विभिन्न सूचनाओं के पहाड़ उपयोगकर्ता बक्से में जमा होने लगे। और हमारे अध्ययनों से पता चलता है कि आधुनिक उपयोगकर्ताओं के लिए, स्पैम अब केवल "बिजनेस कार्डों की छपाई", "ग्रीन कार्ड्स" या "आत्म-ज्ञात में वृद्धि" के बारे में एक बड़े पैमाने पर मेल नहीं है। लोग स्पैम को किसी भी अवांछित ईमेल के रूप में मानते हैं, चाहे वह एक अपारदर्शी सदस्यता के साथ एक उबाऊ समाचार पत्र हो या एक लंबी-निर्बाध इंटरनेट सेवा जो नियमित रूप से इनबॉक्स में प्रवेश करती है।

Mail.Ru के आंतरिक आँकड़ों के अनुसार, उपयोगकर्ता रोज़ाना सोशल नेटवर्क, दुकानों और इंटरनेट सेवाओं से दर्जनों विविध मेलिंग प्राप्त करते हैं। एक उन्नत उपयोगकर्ता आसानी से फिल्टर या ब्लैकलिस्ट का उपयोग करके इनबॉक्स में मेलिंग सूचियों के संचय से बचता है। अन्य सभी उपयोगकर्ताओं के लिए जीवन को आसान बनाने के लिए, हमने एक व्यक्तिगत एंटी-स्पैम लागू किया है।

अब, कोई भी उपयोगकर्ता, एक बार और सभी के लिए, इंटरनेट सेवा, सोशल नेटवर्क या स्टोर के कष्टप्रद समाचार पत्र से छुटकारा पा सकता है - अर्थात। काफी वैध सेवाएं। यह एक अनावश्यक पत्र का चयन करने और "यह स्पैम है" बटन को दबाने के लिए पर्याप्त है, जिसके बाद इस प्रेषक के सभी पत्र पहले से ही "स्पैम" फ़ोल्डर में आ जाएंगे। और निश्चित रूप से, यह अन्य उपयोगकर्ताओं को पत्रों के वितरण को प्रभावित नहीं करेगा, इस मामले में हम "स्वयं के लिए" एंटी-स्पैम तंत्र की विशुद्ध रूप से व्यक्तिगत सेटिंग के बारे में बात कर रहे हैं।

वैसे, "यह स्पैम है" बटन में एक एंटीपोड है, जिसके बिना व्यक्तिगत एंटीस्पैम का तंत्र पूरा नहीं होगा। "स्पैम नहीं है" बटन, "स्पैम" फ़ोल्डर से पत्रों के लिए उपलब्ध है, आपको गलती से स्पैम में आए संदेश को स्थानांतरित करने की अनुमति देता है और इनबॉक्स में प्रेषक के पते को "व्हाइटवॉश" करता है। भविष्य में, इस प्रेषक के सभी पत्र इनबॉक्स में भेजे जाएंगे।

बेशक, वास्तव में, सब कुछ कुछ अधिक जटिल है। व्यक्तिगत ब्लैक एंड व्हाइट लिस्ट बनाते समय, हम न केवल प्रेषक के पते, बल्कि पत्र के अन्य मापदंडों को भी ध्यान में रखते हैं। अन्यथा, हम हेडर से स्पैम स्पैमर्स भेजने के लिए बहुत अच्छा होगा;)

और हां, व्यक्तिगत स्पैम फिल्टर को फिर से भरने के अलावा, "यह स्पैम है" और "यह स्पैम नहीं है" बटन पर क्लिक करके सामान्य एंटी-स्पैम को प्रशिक्षित करने के लिए भी उपयोग किया जाता है। इसलिए, इन बटनों को क्लिक करके, उपयोगकर्ता न केवल खुद के लिए, बल्कि अन्य सभी उपयोगकर्ताओं के लिए बेहतर करता है।

दिलचस्प तथ्य और आंकड़े

व्यक्तिगत एंटीस्पैम के लॉन्च के पहले ही दिनों में पता चला कि यह सुविधा उपयोगकर्ताओं के जीवन को सरल बनाती है। व्यक्तिगत एंटी-स्पैम के काम के पहले सप्ताह के अंत तक, प्रति दिन 1,000,000 से अधिक पत्र स्पैम को भेजे जाने लगे - और निश्चित रूप से, ये मुख्य रूप से सोशल नेटवर्क से सूचनाएं हैं।

हमारे लिए यह दिलचस्प था कि उपयोगकर्ता स्पैम के लिए कौन से अन्य पत्र भेजें। यहाँ वितरण कैसा दिखता है:



वैसे, जैसा कि कोई उम्मीद करेगा, उपयोगकर्ता "यह स्पैम नहीं है" की तुलना में 10-20 गुना कम "यह स्पैम नहीं है" बटन पर क्लिक करें।

और अंत में ... मेल कैसे भेजें;)

आप में से कई सीधे वेब विकास में शामिल हैं और, एक तरह से या किसी अन्य, अपने उपयोगकर्ताओं को पत्र भेजते हैं। यह सुनिश्चित करने के लिए कि आपके पत्र मज़बूती से वितरित किए गए हैं, हमने प्रेषकों के लिए सिफारिशें तैयार की हैं। उनका कार्यान्वयन, निश्चित रूप से, कड़ाई से आवश्यक नहीं है, लेकिन यह दुनिया को एक बेहतर स्थान बनाता है;) सामान्य सिफारिशें http://help.mail.ru/mail-help/rules/general पर हैं , और अधिक विशिष्ट तकनीकी आवश्यकताएं http: / पर हैं /help.mail.ru/mail-help/rules/technical ।

मेल का मुख्य कार्य अपने उपयोगकर्ताओं को पत्र वितरित करना है। इसलिए, हम लगन से एंटीस्पैम की झूठी सकारात्मकता का सामना करते हैं। यदि आपके पत्र उपयोगकर्ताओं तक नहीं पहुँचते हैं - तो ab@corp.mail.ru पर लिखें। समस्या को समझने के लिए, आपको अपने द्वारा भेजे गए पत्र (सभी सेवा शीर्षकों के साथ) की एक पूरी प्रति संलग्न करने की आवश्यकता है, साथ ही साथ एक गैर-वितरण प्रतिक्रिया (पूर्ण रूप से) भी।

मैं उन तंत्रों पर विशेष ध्यान देना चाहूंगा जो ईमेल ट्रांसफर प्रोटोकॉल की कमियों की भरपाई के लिए डिज़ाइन किए गए हैं। यह सही एसपीएफ़ रिकॉर्ड को निर्दिष्ट करने के बारे में है, और विशेष रूप से डीकेआईएम का उपयोग करके प्रत्येक संदेश पर हस्ताक्षर करने के बारे में है, जो हब पर एक से अधिक बार लिखा गया था

वास्तव में, यदि सभी ईमानदार प्रेषक इन दृष्टिकोणों का उपयोग करते हैं, तो वैश्विक स्पैम स्थिति में मौलिक सुधार होगा। इसलिए, हम आपसे इन तकनीकों को जल्दी से लागू करने का आग्रह करते हैं, खासकर क्योंकि यह कॉन्फ़िगर करने के लिए काफी सरल है (उदाहरण के लिए, एक्जिम में डीकेआईएम को कॉन्फ़िगर करने के लिए प्रलेखन या पोस्टफिक्स के लिए डीकेआईएम कार्यान्वयन में से एक)।

सर्गेई मार्टीनोव,
मेल के प्रमुख। Mail.Ru