このテストの目的は、さまざまなスパム対策システムのパフォーマンスを評価することでした。 次の製品がテスト用に選択されました。
•Apache Spamassassin-SA（無料）
•Yandex Spamooborona 2.3-SO（商用）
•カスペルスキーアンチスパム3.0-KAS（商用）
•FastBL 0.7.0（無料）
•dnsblリスト：
bl.spamcop.net
cbl.abuseat.org
dnsbl.sorbs.net
dul.nsbl.sorbs.net
dul.ru
sbl-xbl.spamhaus.org
zen.spamhaus.orgDNSBLリストは、人気のある用途に選択されています。
製品ごとに個別のサーバーが割り当てられ（P4 3.0GHz HT / 1GB RAM / FreeBSD 7.2-PRERELEASE）、メールの通信がテストされました。 MTAとして、SA、SO、KASサービスを接続するためのmilterサポートでコンパイルされたsendmailが使用されました。 商用製品のテストには、開発者のWebサイトから取得した一時ライセンスが使用されました。
メールトラフィックは、2002年と2003年に登録された2つのドメインで使用されました。 これらのドメインへの1日の総トラフィックは5〜12,000文字であり、テストに十分なメールです。 これらのドメインは、主に個人的な通信、メーリングリストの購読に使用され、約10人の実際のメール受信者がいます。 これらのドメインの個人トラフィックは1日に10〜40文字の範囲であるため、テストした製品のパフォーマンスと各システムのFalse Negative係数を評価できます。 残念ながら、個人トラフィックが少ないため、False Positive係数を評価することはできませんでしたが、テストされたシステムはスパムを評価するためにテンプレートメソッドを使用し、通常のメッセージがスパムに入る確率は非常に小さいため、これは問題ではありません。
分析用のサーバー接続図は次のとおりです。
メインリレーは、すべての着信接続を受け入れ、DNSBLリストを照会し、RFCセッション（FastBL）のコンプライアンスを確認し、テストされた製品を含むサーバーにさらに文字をリダイレクトすることにより、初期分析を実行しました。 DNSBLゾーンのクエリはIPアドレスに関する情報を取得するためだけのものであり、アドレスはブロックされていなかったとすぐに言わなければなりません。 推定係数の過大評価という形で、製品の追加の「調整」なしでテストが実行されました。 「そのまま」。
テスト対象のシステムにはレターをテストするためのさまざまな方法があるため、製品は次のスキームに従って更新されました。
「Apache Spamassassin」-1日1回sa-update
カスペルスキーアンチスパム-3分ごと
Yandex Spamooborona-20分ごと
指定された時間間隔は、開発者の新しい更新および推奨の可能な頻度によって決定されます。
各製品には、電子メールコンテンツをテストする独自の機能があります。
Kaspersky Anti-Spamはオフラインテストを使用して、ローカルデータベースを定期的に更新し、さらにdnsblシートを接続します。
Yandex Spam Defenseは、オンラインテストテクノロジーを使用して、常に中央サーバーと連携し、必要に応じてローカルデータベースを更新し、dnsblシートを接続する機能も備えています。
Apache Spamassassinは、オフラインデータ処理、およびオンラインリストサービスDNSBL、Razor、Pyzor、DKIM、SPFを使用します。
SAとKASはfork（）を使用して各メッセージを処理し、SOは順番にスレッドを使用します。スレッドはメモリ消費の観点からはるかに経済的です。 同時に、SAはプリフォークされたプロセスを使用して、構成ファイルで指定された制限を超えるフィルタリングプロセスのレベルを超えることなく、必要に応じてメモリオーバーランとKASフォークの可能性を制限します。
各プロセスのおおよそのメモリ消費：
SA〜40 MB
KAS〜30 MB
SO〜90 MB
以下にコメント付きの結果表を示します。
表で使用される略語：
PS-合格（逃した文字の数）
BL-ブロック済み（スパムとして識別されたブロック済みメッセージの数）
FN-FalseNegative（良好だがスパムであると識別されたメッセージの数）
FP-FalsePositive（スパムではなく、スパムとして定義されたメッセージの数）。
| 日付：2009年4月2日。 カウント：10291 | PS | BL | Fn | FP |
| スパモーボロナ | 56 | 10235 | 42 | 0 |
| スパマサシン | 887 | 9406 | 873 | 0 |
| カスペルスキーアンチスパム | 277 | 10014 | 264 | 1 |
| bl.spamcop.net | 5107 | 5184 | 5093 | 0 |
| cbl.abuseat.org | 2353 | 7938 | 2339 | 0 |
| dnsbl.sorbs.net | 5732 | 4559 | 5718 | 0 |
| dul.nsbl.sorbs.net | 7773 | 2518 | 7759 | 0 |
| dul.ru | 10255 | 36 | 10241 | 0 |
| Fastbl | 89 | 10202 | 75 | 0 |
| sbl-xbl.spamhaus.org | 2336 | 7955 | 2322 | 0 |
| zen.spamhaus.org | 395 | 9896 | 381 | 0 |
テストの最初の日は、Kaspersky Antispam製品のスパム対策保護の奇妙な故障から始まりました;この点で、KASは予想よりも多くの文字を逃しました。 同じ日、ロシアのスパムに対するdnsbl-listsとSpamAssassinの個別の作業の弱点が示されました。 テスト中に、スパム文字の1つを引用する4文字をワードミキシングとともにテストサーバーに送信しました。 カスペルスキーは、コンテンツの文脈分析に関連して、DKIMが署名した有効な手紙をgmail.comからSPAMに送信しました。 一方では、メッセージの内容は確かにスパムでしたが、順番に、メッセージは[Possible Spam]ではなく[SPAM]と評価されました。 この手紙をヘッダーの内容を分析するためにシステム管理者に送信できることを考慮して、KASは1 FPを受け取りました。
| 日付：2009年4月3日。 カウント：6357 | PS | BL | Fn | FP |
| スパモーボロナ | 61 | 6296 | 31 | 0 |
| スパマサシン | 780 | 5579 | 750 | 0 |
| カスペルスキーアンチスパム | 65 | 6292 | 35 | 0 |
| bl.spamcop.net | 3455 | 2902 | 3425 | 0 |
| cbl.abuseat.org | 1571 | 4786 | 1541 | 0 |
| dnsbl.sorbs.net | 3759 | 2598 | 3729 | 0 |
| dul.nsbl.sorbs.net | 4801 | 1556 | 4771 | 0 |
| dul.ru | 6331 | 26 | 6301 | 0 |
| Fastbl | 77 | 6280 | 47 | 0 |
| sbl-xbl.spamhaus.org | 1557 | 4800 | 1527 | 0 |
| zen.spamhaus.org | 325 | 6032 | 295 | 0 |
テストの2日目に、SpamooboronaとKaspersky Antispamはそれぞれの立場を均等にしました。
| 日付：2009年4月5日。 カウント：7025 | PS | BL | Fn | FP |
| スパモーボロナ | 59 | 6966 | 39 | 0 |
| スパマサシン | 1291 | 5739 | 1271 | 0 |
| カスペルスキーアンチスパム | 29日 | 6996 | 9 | 0 |
| bl.spamcop.net | 4170 | 2855 | 4150 | 0 |
| cbl.abuseat.org | 2031 | 4994 | 2011 | 0 |
| dnsbl.sorbs.net | 4424 | 2601 | 4404 | 0 |
| dul.nsbl.sorbs.net | 5180 | 1845 | 5160 | 0 |
| dul.ru | 6986 | 39 | 6966 | 0 |
| Fastbl | 42 | 6983 | 22 | 0 |
| sbl-xbl.spamhaus.org | 2018年 | 5007 | 1998 | 0 |
| zen.spamhaus.org | 368 | 6657 | 348 | 0 |
テストの3日目と4日目（週末）に、単一メッセージの急増によりSpamooboronaの保護が少し悪化しました。 Yandex Spamooboronaからのレターのコンポーネントコンポーネントに関するデータはオンラインで処理されるため、頻繁に繰り返されないメッセージは失われる可能性があります。 Kaspersky Antispamは、オフライン評価システムの利点を示しています。
| 日付：2009年4月6日。 カウント：9963 | PS | BL | Fn | FP |
| スパモーボロナ | 53 | 9906 | 33 | 0 |
| スパマサシン | 1506 | 8459 | 1486 | 0 |
| カスペルスキーアンチスパム | 125 | 9837 | 105 | 0 |
| bl.spamcop.net | 7042 | 2921 | 7022 | 0 |
| cbl.abuseat.org | 2562 | 7401 | 2542 | 0 |
| dnsbl.sorbs.net | 6420 | 3543 | 6400 | 0 |
| dul.nsbl.sorbs.net | 7561 | 2402 | 7541 | 0 |
| dul.ru | 9907 | 56 | 9887 | 0 |
| Fastbl | 68 | 9895 | 48 | 0 |
| sbl-xbl.spamhaus.org | 2549 | 7414 | 2529 | 0 |
| zen.spamhaus.org | 308 | 9655 | 288 | 0 |
5日目には、Kaspersky Antispamの故障数の増加を除いて、特別な驚きは発生しませんでした。
| 日付：2009年4月7日。 カウント：10923 | PS | BL | Fn | FP |
| スパモーボロナ | 88 | 10832 | 48 | 1 |
| スパマサシン | 1418 | 9503 | 1377 | 0 |
| カスペルスキーアンチスパム | 190 | 10727 | 149 | 0 |
| bl.spamcop.net | 6405 | 4518 | 6364 | 0 |
| cbl.abuseat.org | 2651 | 8272 | 2610 | 0 |
| dnsbl.sorbs.net | 6478 | 4445 | 6437 | 0 |
| dul.nsbl.sorbs.net | 8237 | 2686 | 8196 | 0 |
| dul.ru | 10877 | 46 | 10836 | 0 |
| Fastbl | 103 | 10820 | 62 | 0 |
| sbl-xbl.spamhaus.org | 2633 | 8290 | 2592 | 0 |
| zen.spamhaus.org | 293 | 10630 | 252 | 0 |
6日目に、SpamooboronaはFPを押収し、subscribe.newsland.ruからの有効なメーリングリストをブロックしました。 テストの日々、かなり多数のNDRにスパムメッセージが配信されなかったという報告がありましたが、すべてのNDRはスパムとして製品によってフィルタリングされ、これに対処しませんでした。 これは事実ではありませんが。
| 合計 カウント：44552 | PS | BL | Fn | FP |
| スパモーボロナ | 317 | 44235 | 193 | 1 |
| スパマサシン | 5882 | 38686 | 5757 | 0 |
| カスペルスキーアンチスパム | 686 | 43866 | 562 | 1 |
| bl.spamcop.net | 26178 | 18374 | 26053 | 0 |
| cbl.abuseat.org | 11168 | 33384 | 11043 | 0 |
| dnsbl.sorbs.net | 26812 | 17740 | 26687 | 0 |
| dul.nsbl.sorbs.net | 33551 | 11001 | 33426 | 0 |
| dul.ru | 44353 | 199 | 44228 | 0 |
| Fastbl | 379 | 44173 | 254 | 0 |
| sbl-xbl.spamhaus.org | 11093 | 33459 | 10968 | 0 |
| zen.spamhaus.org | 1689 | 42863 | 1564 | 0 |
すべてのテストの最後に、文字の総量（44552文字）から125の完全に有効な文字が選択され、それに基づいてFalseNegativeおよびFalsePositiveパラメーターが計算されました。 テストの初日を除外すると、スパムを分析するときに商用製品がどのように上下するかを確認できます。 それでもSpamassassinは外国のスパムを分析するように設計されており、コンテンツの正規化がないためにメールをスキップすることがよくあります。 市販製品は、特定の種類の文字を導きます。 たとえば、「R-A-S-S.Y、L = K-I」などの単語に余分な文字を挿入するためにスパマーがよく使用する方法は、ロシア語の文字を同様のスペルの英語の文字に置き換えるだけで、正規化に対してはまったく効果がありません。その単語は依然として「メーリングリスト」に変わり、コンテキスト分析の対象となり、そのような単語ごとに文字全体に一定数のポイントが追加されます。 同様に、SpamAssassinは「医療、バイアグラ、シアリス、拡大」などの外国のスパムをかなりよく区別し、コンテキストアナライザーの「ベイズポイズニング」もフィルタリングします。
dnsbl-listsについては、意見がまちまちです。 一方で、パブリックdnsblの人気は非常に高く、スパムに対するある程度の保護を提供できます。 ただし、一方で、有効なドメインで作業している場合はまだFPがあるため、dnsblリストを万能薬として使用することはできません。 RFC（FastBL）による着信接続の検証に関しては、テスト期間中にFPは発生せず、フィルタリングレベルは商用製品に匹敵します。 しかし、それは別の話です。 :)
さて、最後に、コンテキストアナライザーがDNSBLリストとペアになった場合のイベントオプションを集計することにしました。 予想どおり、外国のApache SpamAssassin製品を使用しても、100％のスパムフィルター効率が得られました。
| 総数：44552 | PS | BL | Fn | FP |
| bl.spamcop.net + so | 124 | 44243 | 184 | 1 |
| bl.spamcop.net + sa | 125 | 38702 | 5725 | 0 |
| bl.spamcop.net + kas | 124 | 44050 | 377 | 1 |
|
| cbl.abuseat.org + so | 124 | 44266 | 161 | 1 |
| cbl.abuseat.org + sa | 125 | 40541 | 3886 | 0 |
| cbl.abuseat.org + kas | 124 | 44264 | 163 | 1 |
|
| dnsbl.sorbs.net + so | 124 | 44258 | 169 | 1 |
| dnsbl.sorbs.net + sa | 125 | 39832 | 4595 | 0 |
| dnsbl.sorbs.net + kas | 124 | 44068 | 359 | 1 |
|
| dul.nsbl.sorbs.net + so | 124 | 44247 | 180 | 1 |
| dul.nsbl.sorbs.net + sa | 125 | 39398 | 5029 | 0 |
| dul.nsbl.sorbs.net + kas | 124 | 44013 | 414 | 1 |
|
| dul.ru +そう | 124 | 44236 | 191 | 1 |
| dul.ru + sa | 125 | 38714 | 5713 | 0 |
| dul.ru + kas | 124 | 43872 | 555 | 1 |
|
| Fastbl +そう | 124 | 44413 | 14 | 1 |
| Fastbl + sa | 125 | 44374 | 53 | 0 |
| FastBL + kas | 124 | 44412 | 15 | 1 |
|
| sbl-xbl.spamhaus.org + so | 124 | 44268 | 159 | 1 |
| sbl-xbl.spamhaus.org + sa | 125 | 40519 | 3908 | 0 |
| sbl-xbl.spamhaus.org + kas | 124 | 44265 | 162 | 1 |
|
| zen.spamhaus.org + so | 124 | 44309 | 118 | 1 |
| zen.spamhaus.org + sa | 125 | 43747 | 680 | 0 |
| zen.spamhaus.org + kas | 124 | 44387 | 40 | 1 |
さて、スパム対策に関するこの有益な話の中で最も悲しいことについて-商用製品のセットアップとライセンスについて。
製品のほぼ完璧なコアにもかかわらず、外側のラッパーは非常に不成功で不便です。 個人的に、私はそのような計画の製品開発者からより多くのプロ意識を期待していました。
それで、いくつかの「蜂蜜の樽の中にタールのスプーン」。
どちらの製品も、リリースで使用されている製品のバージョンと同様に、セキュリティの観点から古くなったFreeBSD 6.2システムへのインストールを目的としています（compat6xでシャーマライズする必要がありました）。
カスペルスキーのアンチスパムには、配布パッケージにperl 5.6.2と特定のperlモジュールの一部が含まれています。 KAS管理コンソールは、thttpdと大麦CGIスクリプトの形式のシステムバインディングを使用します。 もちろん、見た目は美しいですが、私の意見では、仕事のスケジュールはフィルターにかけられていますが、あまり有益ではありません。 さまざまなフィルタリング方法でユーザーグループを作成する可能性があります。ホワイトリストとブラックリストがあります-ユーザーとIPアドレスの両方です。 残念ながら、管理者のWebコンソールで外部ユーザーおよびグループデータベースを使用する機能は見つかりませんでした（コンソールユーティリティのどこかに埋まっている可能性があります）。 ライセンスに関しても、完全に明確ではありません;正式には、ユーザーごとのライセンスを評価する量的単位を見つけたことがありません。 一時ライセンスでは、指定された250メガバイトの処理しきい値は、実際には250から499メガバイトの範囲です。 製品のライセンスは、購入時に取得したライセンスファイルに基づいています。 システムは、複数のライセンスの追加とインストールをサポートしています。 さて、KAS開発者に対する私の最大の「fi」は、sendmail.cf構成ファイルにmilterフィルターをインストールする方法です
みんな!!! 最初の更新中に行われたすべての変更をキャンセルするWORKING COMPILATED CONFIGを編集するのはなぜですか？構成にフィルターを追加するためのスクリプトは、詳しく調べると、sendmail.mcを指定してフィルターを呼び出す行を挿入できる非表示フラグがありますが、このフラグは構成スクリプトMTA-config.plからは呼び出されません。
すべてのKASプロセスは、/ usr / local / ap-mailfilter3を操作するための独自のディレクトリを持つユーザーmailflt3の下で実行されます。 起動スクリプトは、/ etc / rc.confから制御されない古いサービス起動メカニズムを使用します。
Yandex Spamooboronaも驚いた。 コンフィギュレーターはDIALOGで書かれていますが、インストール中にこれをやや期待していませんでした。 コンフィギュレーターのブランチは非常に「頭が大きく」、そこに迷子になりやすいです。 ほとんどの設定は既に事前に定義されていますが、メニューのすべての項目を調べて、必要なパラメーターを設定することをお勧めします。 SOにはプレーンテキストファイル、LDAPを操作する機能があり、MySQLでも構成内のSQLコードの断片によって判断できます。 SOの作業をセットアップした後、ある人が私に尋ねました：「スパム防御がセットアップするのがひどく困難で、Yandexから直接サポートを購入していない人は誰もそれを手に入れることができないだろうというスパム対策販売者のレビューを聞きました あなたは珍しいか、誰かがどこかに横たわっています。」
実際、プレーンテキストファイルでの設定はそれほど複雑ではなく、原則として完全に透過的です。 しかし、主な構成の問題は依然としてLDAPとMySQLに関連しているように思えます。 ライセンスポリシーも珍しいです。 スパムから保護するには、システムが保護するすべての電子メールアドレスを手動または自動で登録する必要があります。 なぜなら 動的に成長するネットワークでは本当に不便です。 ユーザーごとのライセンスは、この特定のユーザーリストに基づいています。 ユーザーのリストがライセンスで指定された最大レベルを超えた場合に何が起こるかはわかりませんが、私には思えますが、これは完全に正しいわけではありません。 私の組織には、約30のドメイン、600のユーザー、および約50のグループがあります。 各ユーザーは2つのドメイン（エイリアスなど）のアドレスを持つことができるという事実にもかかわらず、私は会社の通常の運用のために事実上無制限のライセンスを購入する必要があります。 別の記事がライセンスキーです。 キーは、spam.ini（メインフィルター設定）とドメイン（保護ドメインのリスト）の2つのファイルから生成されます。 これら2つのファイルはSO Webサーバーに「手動で」送信され、Webフォームに必要な情報を入力した後、サーバーはキーを生成します。 キーはso.keyファイルに保存され、他のSO設定が配置されているディレクトリに配置されます。 また、spam.iniファイルとドメインファイルの少なくとも1ビットを修正することを禁止しています。登録手順全体を繰り返す必要があります。そうしないと、フィルターが機能しません。 初心者の管理者にとってプラスになるのは、SO設定インターフェイスのロシア化です。
SpamAssassinは大部分のメールリレーにインストールされるため、SpamAssassinの構成と動作を説明する意味はありません。
まあ、基本的に、すべてがそうです。 私が書いて言いたかったこと-書いて説明した。
もちろん、テストのバイアスについての疑いは、誰からも受け入れます。 このテストに偏りがあり、ネジを大きく締めなくても他の結果が得られると思われる場合は、関心のある製品の構成ファイルを送信してください。既存の構成と構成を含むサーバーをいくつか配置できます。結果を比較します。
PS：テストについて質問がある場合、Kaspersky Labは素晴らしいドキュメントを作成しました：
www.spamtest.ru/document.html?context=15948&pubid=16638で 、テストに関するすべての推奨事項を見つけることができます。 私のテストでは、テスト時間を除き、2004年のドキュメントとまったく同じように、可能な限り正確に追跡されました。
ZZY：庭で石を捕まえる準備ができました。
ABORCHE 2009
SpamAssassinの構成：
bayes_auto_learn 1
bayes_ignore_header X-Bogosity
bayes_ignore_header X-Spam-Flag
bayes_ignore_header X-Spam-Status
loadpluginメール:: SpamAssassin ::プラグイン:: AWL
loadpluginメール:: SpamAssassin ::プラグイン:: AutoLearnThreshold
loadpluginメール:: SpamAssassin ::プラグイン:: Bayes
loadpluginメール:: SpamAssassin ::プラグイン:: BodyEval
loadpluginメール:: SpamAssassin ::プラグイン::チェック
loadpluginメール:: SpamAssassin ::プラグイン:: DKIM
loadpluginメール:: SpamAssassin ::プラグイン:: DNSEval
loadpluginメール:: SpamAssassin ::プラグイン:: HTMLEval
loadpluginメール:: SpamAssassin ::プラグイン:: HTTPSMismatch
loadpluginメール:: SpamAssassin ::プラグイン:: Hashcash
loadpluginメール:: SpamAssassin ::プラグイン:: HeaderEval
loadpluginメール:: SpamAssassin ::プラグイン:: ImageInfo
loadpluginメール:: SpamAssassin ::プラグイン:: MIMEEval
loadpluginメール:: SpamAssassin ::プラグイン:: MIMEHeader
loadpluginメール:: SpamAssassin ::プラグイン:: Pyzor
loadpluginメール:: SpamAssassin ::プラグイン:: Razor2
loadpluginメール:: SpamAssassin ::プラグイン:: RelayEval
loadpluginメール:: SpamAssassin ::プラグイン:: ReplaceTags
loadpluginメール:: SpamAssassin ::プラグイン:: Rule2XSBody
loadpluginメール:: SpamAssassin ::プラグイン:: SPF
loadpluginメール:: SpamAssassin ::プラグイン:: SpamCop
loadpluginメール:: SpamAssassin ::プラグイン:: URIDNSBL
loadpluginメール:: SpamAssassin ::プラグイン:: URIDetail
loadpluginメール:: SpamAssassin ::プラグイン:: URIEval
loadpluginメール:: SpamAssassin ::プラグイン:: VBounce
loadpluginメール:: SpamAssassin ::プラグイン:: WLBLEval
loadpluginメール:: SpamAssassin ::プラグイン:: WhiteListSubject
report_safe 0
rewrite_header Subject *****スパム*****
use_bayes 1