Rspamd स्पैम फ़िल्टरिंग सिस्टम

रामस्पेल मेल में Rspamd प्रणाली को प्राथमिक स्पैम फ़िल्टरिंग प्रणाली के रूप में विकसित किया जा रहा है। हालाँकि, शुरू में मैंने एक ऐसी प्रणाली बनाने की योजना बनाई जो स्पैमासैसिन की क्षमताओं, लचीलेपन और काम की गुणवत्ता में हीन नहीं होगी, लेकिन इसकी मुख्य कमियों से रहित होगी: नियमित अभिव्यक्ति का अत्यधिक उपयोग, खराब अनुकूलन और काम की सामान्य विचारशीलता, साथ ही अपेक्षाकृत गलत आँकड़े। तो rspamd का विचार परिपक्व हुआ - एक प्रणाली जिसका कोर अक्षरों के एक बड़े प्रवाह को छानने के लिए अनुकूलित किया जाएगा, जो आसानी से एक्स्टेंसिबल होगा और अधिक उन्नत सांख्यिकी एल्गोरिदम का उपयोग करेगा। Rspamd कर्नेल C में लिखा गया है और एक ईवेंट-चालित संदेश प्रसंस्करण मॉडल (libevent पर आधारित) का उपयोग करता है। Lua में plugins और rules लिखकर rspamd को बढ़ाता है। शुरुआत से ही यह परियोजना ओपन सोर्स (बीएसडी लाइसेंस के तहत) थी और अब यह बिटकॉइन पर स्थित है।

प्रस्तावना

Nginx, crm114 और निश्चित रूप से, स्पैमसैसिन जैसी परियोजनाओं ने rspamd को बहुत प्रभावित किया। नगनेक्स आरएसपीएमडी ने एक डाटा प्रोसेसिंग मॉडल लिया, साथ ही साथ विभिन्न सूचनाओं के प्रसंस्करण के सिद्धांत - अधिकतम इष्टतम एल्गोरिदम का अधिकतम उपयोग किया जाता है, जैसे कि परिमित राज्य मशीन, प्रत्यय पेड़, आदि। मेरी राय में, crm114 विभिन्न सांख्यिकीय एल्गोरिदम और दृष्टिकोणों की सबसे बड़ी संख्या को लागू करता है, जो तब धीरे-धीरे अन्य प्रणालियों में लागू होते हैं। उदाहरण के लिए, rspamd संदेशों के सांख्यिकीय विश्लेषण के लिए SA और कई अन्य स्पैम फिल्टर की तरह, यूजीग्रामों के बजाय शब्दों से बिगग्रामों के विश्लेषण के लिए एल्गोरिथ्म का उपयोग करता है। यह हमें न केवल शब्दों की संभावना (या आवृत्ति) का अनुमान लगाने की अनुमति देता है, लेकिन शब्दों के संयोजन का एक स्पेक्ट्रम। एक ओर, यह आंकड़ों के आकार को बढ़ाता है, और दूसरी ओर, यह इसकी सटीकता को बढ़ाता है। लेकिन, ज़ाहिर है, rspamd ने SpamAssassin से सबसे अधिक लिया, जो परियोजना के निर्माण के लिए प्रोटोटाइप और संदर्भ बिंदु के रूप में कार्य करता था। कई कारकों के आधार पर एक संदेश का मूल्यांकन करने की विचारधारा - नियमित अभिव्यक्ति, DNS ब्लॉक सूची, विभिन्न सूचियां, आंकड़े, हस्ताक्षर, फ़िशिंग और अन्य चीजें - SpamAssassin से ली गई हैं। इसके अलावा, मूल्यांकन को "मीट्रिक" की अवधारणा तक विस्तारित किया गया था, जो विभिन्न नियमों के अनुसार संदेश का मूल्यांकन करने की अनुमति दे सकता है।

Rspamd किसके लिए है?

Rspamd विभिन्न आकारों की प्रणालियों के लिए उपयुक्त हो सकता है, दोनों बड़े मेल सिस्टम और छोटे वाले जो प्रति घंटे कई पत्रों को संसाधित करते हैं। पूर्व में आसान क्षैतिज स्केलिंग, मास्टर-स्लेव सांख्यिकी तुल्यकालन, निगरानी कार्य के लिए अंतर्निहित कमांड, उच्च गति और डाउनलोड की तेज फटने की क्षमता (जटिल जांच को अक्षम करके), साथ ही एक लचीली एक्स्टेंसिबल आर्किटेक्चर जैसी आरएसपीएमडी सुविधाओं में पाया जाएगा। छोटे सिस्टम के लिए, rspamd आउट-ऑफ-द-बॉक्स सेटिंग्स के साथ अच्छी तरह से अनुकूल है। मैं आंकड़ों के वितरण को व्यवस्थित करने की भी योजना बनाता हूं ताकि उपयोगकर्ता rspamd को स्थापित कर सकें और स्पैम को फ़िल्टर करने के लिए एक तैयार सिस्टम हो। Rspamd विभिन्न MTA में एकीकृत हो सकता है, साथ ही SMTP प्रॉक्सी मोड में काम कर सकता है (अधिक जानकारी के लिए, इस लेख में प्रलेखन देखें )।

सिस्टम को प्राप्त करना, स्थापित करना और कॉन्फ़िगर करना

Rspamd अब केवल यूनिक्स जैसी प्रणालियों पर काम करता है (प्रदर्शन का विभिन्न प्रकार के Linux, FreeBSD और OpenSolaris पर परीक्षण किया गया था)। FreeBSD में, rspamd एक पोर्ट (मेल / rspamd) के रूप में है, अन्य प्रणालियों के मालिक, दुर्भाग्य से, स्रोत से rspamd इकट्ठा करने के लिए मजबूर होंगे। यह प्रक्रिया, साथ ही प्रारंभिक कॉन्फ़िगरेशन, " त्वरित शुरुआत " में वर्णित है। Rspamd को कॉन्फ़िगर करने के दो तरीके हैं: xml फ़ाइल के माध्यम से और lua के माध्यम से। पहली विधि को बुनियादी मापदंडों को सेट करने के लिए डिज़ाइन किया गया है, उदाहरण के लिए, यह है कि किसी संदेश के लिए विभिन्न कार्यों के लिए वजन और थ्रेसहोल्ड कैसे सेट किए जाते हैं:

<!-- Metrics section --> <metric> <name>default</name> <required_score>14.0</required_score> <!-- Sample actions --> <action>reject</action> <action>greylist:4</action> <action>add_header:8</action> <!-- Weights for symbols --> <!-- Subject is missing inside message --> <symbol weight="2.00" description="Subject is missing inside message">MISSING_SUBJECT</symbol> ... 

दूसरी विधि का उपयोग नियम लिखने के लिए किया जाता है और अधिक बारीक ट्यून किए गए rspamd। उदाहरण के लिए, आप एक फ़ंक्शन बना सकते हैं जो संदेश के लिए "उपयुक्त" सांख्यिकी फ़ाइलों का चयन करता है (मूल वितरण में, इस तरह के फ़ंक्शन को संदेश भाषा पर आंकड़े चुनने के लिए आपूर्ति की जाती है)। पत्र में एक चित्र के साथ एक खाली पत्र की उपस्थिति का निर्धारण करने का एक उदाहरण है:

 reconf['R_EMPTY_IMAGE'] = function (task) parts = task:get_text_parts() if parts then for _,part in ipairs(parts) do if part:is_empty() then images = task:get_images() if images then return true end end end end return false end 

आप rspamc कंसोल क्लायंट का उपयोग ट्रेन, अक्षरों की जांच, और rspamd की निगरानी के लिए कर सकते हैं

परियोजना की वर्तमान स्थिति

ऐसा नहीं है कि कुछ समय पहले मैंने rspamd और SA (मैंने लगभग समान नियमों पर 30 युगपत कनेक्शनों की धारा के साथ जाँच की थी) का थोड़ा सा प्रदर्शन परीक्षण किया था। अनुमानित परिणाम इस प्रकार थे:

Rspamd:


SpamAssassin:

Rspamd उपयोगकर्ता अब रामबलर मेल के अलावा, कई बड़े प्रदाता हैं। परियोजना में एक एकल डेवलपर है, इसलिए मुझे नए उपयोगकर्ताओं में दिलचस्पी है कि वे परियोजना की गुणवत्ता में सुधार करें और नए विचारों को लागू करें। इसके अलावा, नवीनतम संस्करण (0.4.0) में मैंने अपने प्रोजेक्ट की गुणवत्ता को स्थिर, सरल और बेहतर बनाने में बहुत प्रयास किया। इसलिए, अगर किसी को कम स्पैम प्राप्त होगा, तो rspamd के लिए धन्यवाद, फिर मैंने जानबूझकर कोड और इस लेख को लिखा।

संदर्भ

1. https://bitbucket.org/vstakhov/rspamd - प्रोजेक्ट होम पेज
2. https://bitbucket.org/vstakhov/rspamd/wiki/Quick_Start - त्वरित शुरुआत
3. http://wiki.opennet.ru/Rspamd - रूसी में त्वरित शुरुआत
4. https://bitbucket.org/vstakhov/rspamd/downloads/ - डाउनलोड
5. https://bitbucket.org/vstakhov/rspamd/wiki/Documentation - मुख्य प्रलेखन
6. http://highsecure.ru/rspamd_statistics/ - रूसी भाषा के लिए अलग आँकड़ों का एक उदाहरण