Telegramのアンチウイルスボット

先週、Doctor WebはTelegram用のアンチウイルスボットをリリースしました。 このプロジェクトの直接参加者として、チーム全体を代表して、このボットを作成した理由、その仕組み、およびデスクトップウイルス対策を放棄する時期かどうかについてお話したいと思います。

コンセプト

昨年の夏、TelegramはボットとTelegram Bot APIを導入しました。 チャットボットは長い間存在していましたが、この場合、プラットフォームは統合実験の大きな機会を提供し、怠zyな人だけが自分のボットを作成しませんでした。 そのようなエキゾチックな例さえあります。

テストしたボットのほとんどは、面白い（IQテストやステッカー評価など）、情報提供（天気予報、単語の翻訳、最寄りのATMの住所など）、またはその両方でした（たとえば、インド映画を見つけるためのボット） 。 それらを使用するのが便利であることが判明し、フォーマット自体が私たちを魅了し、私たち自身の情報スタンドに使用したいと考えました-ボットはオンデマンドで脅威の説明を与えることができます：たとえば、ユーザーはボットにLinux.Encoder.1アンチウイルスが何をするのかを尋ねます、それに応じて、脅威の詳細な説明を受け取ります。 しかし、私たちの手で少し考えをひねると、明らかな欠陥が見つかりました。

• メッセンジャーからのメッセージの形式では、悪意のあるプログラムについて読むのは不便です。多くの場合、メカニズムの説明は非常に長く、コード例と大量のスクリーンショットがあります。
• ユーザーが自分のデバイス上の脅威を発見し、Telegramを開き、ボットを見つけて、単にグーグルで検索するのではなく、それについて質問したとき、状況自体は人工的なように見えました。
• さまざまなウイルス対策会社が、脅威の命名にさまざまなルールを使用しています。 ユーザーは別の名前で脅威を検索できますが、必要な情報は見つかりません。

これらすべてを熟考した後、さらに一歩踏み出すことにし、真に応用された機能を備えたボットを作成しました。 実験的なウイルス対策ボット。

このタスクは魅力的で便利に思えました。 メッセンジャーはトラフィックの暗号化と安全なデータ交換を担当し、Telegramはこの点で実証されています。 ユーザーは、Telegramがインストールされているデバイスの安全性に責任があります。通常のソーシャルエンジニアリングのトリックはすべて機能します。 コンピュータとスマートフォンの両方がトロイの木馬に感染する可能性があります。トロイの木馬はせいぜい大量の広告を表示し、最悪の場合、デバイスをプラスチックと金属の無感覚なセットに変えます。

ファイルとリンクをオンザフライでチェックし、脅威を検出した場合にユーザーに警告できるボットを考案しました。 たとえば、電子メールにウイルス対策保護が組み込まれている場合、ウイルス対策はメールホスティング側またはユーザーのデバイスのいずれかに配置できます。 ボットAPIを使用すると、新しいパラダイムで保護を異なる方法で編成できます。ボットはユーザーのマシンまたはサービス側では機能せず、オペレーティングシステムやデバイスのパフォーマンスに依存しません。 動作するための唯一の条件は、Telegramクライアントバージョンがボットの使用をサポートする必要があることです。 疑わしいメッセージがTelegram自体に届いた場合、すぐにボットに転送できます。 他のソースから受け取った疑わしいリンクをボットに送信すると便利です。

このようなメカニズムがウイルス対策の完全な代替品ではないことを直ちに予約してください。 ボットは、ユーザーが危険なリンクをクリックしたりファイルを起動したりすることを止めることはできません。危険を警告することしかできません。 同時に、技術に精通したTelegramのオーディエンスは、アクションを制限することなく、要求に応じて情報を提供するウイルス対策製品に関心があるかもしれません。 ボットは研究プロジェクトと考えており、主にフィードバックに関心があります。そのため、こちらの記事をご覧ください。

実装

ボットはTornadoフレームワークを使用して実装されます。Tornadoフレームワークは、交差点の交通コントローラとして、Telegram Bot APIとDr.WebサービスのプライベートAPI間のデータフローを調整します。 最初は標準的な方法でDjangoを使用しました。 ただし、Djangoフレームワークの特徴は、データの入出力中（要求本文の受信、応答の送信、データベースの操作など）に貴重な時間が浪費されることです。 Siegeユーティリティを使用して実験を行ったところ、このようなモデルは数千の1回限りの要求を効率的に処理するには不適切であることがわかりました。
そのため、非同期作業モデルに目を向け始めました-トルネードを優先して選択しました（実際には非同期が主な機能です）。 現時点では、すべてのボットコードは非同期です：ファイルのダウンロード、リンクのチェック、データベースの操作など-データベースにエントリを追加するとき、ボットはサーバーからの応答を待たずにタスクを実行し続けます。



ボット宛てのメッセージがTelegramクラウドから送信された場合、受信したテキスト内のリンクを解析する必要があります。 同時に、パーサーの動作方法（つまり、ボットがチェックするページ）と、Telegramパーサーの動作方法（つまり、メッセンジャーをクリックしてユーザーが正確に開くもの）の不一致を避けることが重要なので、テレグラムリンク解析-オープンソースWebバージョンに焦点を当てています。 そのメカニズムはおそらくこれに限定されず、定期的に私たちに質問を引き起こしますが（たとえば、iOSのモバイルアプリケーションでは、プロトコルを指定せずにリンク「test.com:8080」が送信者から「 test.com：8080 」のように見えますが、 「 Test.com:8080 」（受信者で）。

リンクとファイルのさらなる処理は、いくつかの段階で進行します：アーカイブの解凍、短縮リンクのオープン、リダイレクトの追跡。 リンクを介してファイルがダウンロードされた場合、それらをダウンロードします。これにより、ボットはTelegramを介して送信されたファイルだけでなく、外部リンクを使用したファイルもチェックできます。

サーバーの負荷をより効率的に分散させるには、最初にファイルキャッシュとリンクキャッシュを確認します。 その後、ボットは、内部API（Dr.Web Cloudクラウドサービス、スキャンエンジンウイルス対策エンジン、リンクチェッカー、ウイルス署名データベース）を介して、さまざまなDr.Webテクノロジーにバトンを渡します。 データ交換は非同期でマルチスレッドであり、負荷が増加すると、新しいサーバーを追加し、構成ファイルに特定の設定を規定することで電力を増やすことができます-スケーリング機能はもともとボットアーキテクチャに組み込まれていました。
最後に、検証済みのマテリアルがボットに返されます。テレグラムボットAPIが設定するボットからのメッセージの頻度の制限を考慮して、ボットは結果をユーザーに送信します。

ユーザーは、プライベートモード（不審なコンテンツをボットに送信するか、他のユーザーから受信したメッセージを送信する）とグループチャットの両方でリンクとファイルを確認できます-チャット参加者にボットを追加すると、チャットのすべてのファイルとリンクで機能します。

ボットは、「サイレント」と通常の2つのモードで動作します。 通常モードでは、ボットは各ファイルまたはリンクに応答し、リンクが安全であるか、ファイルのダウンロードは推奨されないというメッセージを送信します。 グループチャットでボットがこのように動作する場合、これにより人々が通信できなくなる可能性があるため、「サイレント」モードを作成しました。 このモードでは、ボットはチャット内のファイルまたはリンクに脅威が含まれている場合にのみサインを表示し、ユーザーにラッシュテップまたはクリックを警告します。 検証エラーメッセージも「サイレント」モードで送信されます。そうしないと、ユーザーは回答を待たずに、リンクまたはファイルが正常に検証され安全であると誤って判断した可能性があります。 / modeコマンドを使用してモードを選択できます。

APIの進化に伴い、新しい機能がタスクに役立つことが判明した場合は、新しい機能を導入します。 少し前まで、Telegramはチャットにボットを追加せずにインラインモードでボットの使用を導入しました-これまでのところ、このメカニズムでは検証のためにファイルをボットに送信できませんが、その使用を検討しています。 次回の更新では、ボットの高速化と信頼性向上を図り、ユーザーのフィードバックを厳重に監視します。

ローカリゼーションに関するいくつかの言葉（これは私の職業であるだけでなく、情熱でもあるため）：ボットはロシア語、英語、またはドイツ語で通信できます。 特に問題はありませんでした。gettextライブラリを使用し、ローカライズファイルを.po形式で保存します。

原則として、当社製品のすべてのテキストは公式スタイルで記述されているため、リソースファイルで絵文字を使用することは興味深い新しい体験でした-OS Xでは「箱から出して」サポートされ、Ubuntuではシステムにフォントを追加するのに十分でした（ sudo apt-get install ttf-古代フォント ）、およびWindowsでは、翻訳者がローカライズファイルで絵文字を見ることができるようにするためのトリックが必要でした。 コードを使用して絵文字を.poファイルに挿入しようとしましたが、すべてのオペレーティングシステムがそれらを読み取ることができるわけではありません（たとえば、Windowsのデスクトップクライアントのユーザーは代わりにテキストコードを見ました）。 どうやら、2つの合理的な決定があります。すべての絵文字を表示する.poファイルエディターを選択するか、コードで置き換えますが、私たちの側で絵文字に変換します。 私たちは2番目のオプションの方向に考えます-しかし、そうであっても、ユーザーはこの苦痛に気付かないでしょう。

開発時に留意すべきもう1つの機能は、同じ絵文字が異なるデバイスで異なるように見え、一般的にどこでもサポートされていないことです。 Emojipediaはこの問題の解決に役立ちました。特定のプラットフォームに絵文字があるかどうかを確認したり、絵文字またはそのコードをコピーして.poファイルに貼り付けたりできます。

そして、私たちが遭遇した小さな障害：テレグラムはボットを完全にローカライズすることを許可しません。入力フィールドのボットの説明とプロンプトは常に1つの言語（この場合は英語）になります。 この解決策がTelegram Bot APIの次のリリースに登場することを願っています。

一般に、7人のチームで開発、社内テスト、ローカライズを行うには3か月かかりました。 同僚は主要な作業タスクと並行してリラックスモードで開発に従事していたため、ボットのロジックを「瞑想」するのに十分な時間がありました。 最も難しいのは、このモードで負荷テストを実行することです。メインのストレステストでは、Telegramアカウントを持つ数十人の従業員が招待され、条件付き信号によってボットに数千のファイルのコレクションを送りました。 好奇心test盛なテスターのハブからの流入が私たちの行動を妨げないことを願っていますが、何かが起こった場合、時間の経過とともに追加の能力をつなげて、厳密に判断しないでください。

私たちが知る限り、誰もウイルス対策ボットを実行していません。そのため、実験の幅広い分野があります。 ボット@drwebbotと意見や経験を共有していただければ幸いです