Roskomnadzorサービスからの禁止サイトのリストの自動ダウンロード

プラットフォーム： Windows XP / Vista / 7
言語： Perl

Roskomnadzorによって作成されたサービスには、非常に長く読みにくい名前があります。「ドメイン名、インターネット上のWebサイトページ、およびロシア連邦での配布が禁止されている情報を含むインターネット上のサイトを特定できるネットワークアドレスの統一レジストリ」 、したがって、簡単にするために、Roskomnadzorサービスと呼びます。

挑戦する
Roskomnadzorリソースから禁止サイトのリストの自動ダウンロードを整理します。 システムは1つのホスト内に実装する必要があり、ダウンロードしたファイルは特定の深さでローテーションする必要があります。

歌詞
禁止サイトのリストに関しては、すでに多くのことが言われていますが、このトピックについて再度議論することは意味がありません。

ただし、このレッスンの明らかな無意味さにもかかわらず、禁止サイトのリストを毎日ダウンロードすることは、多くのインターネットプロバイダーにとって必要になっています。 これは主に、Roskomnadzorからの請求を避けるために行われます。 当然、最初に頭に浮かぶのは、ダウンロードプロセスを自動化することです。 残念ながら、RoskomnadzorのWebサイトでは、自動化の方法がかなり曖昧に説明されており、技術的なサポートはほとんどありません。 さらに、プロセスの自動化の場合、サービスの操作はSOAPプロトコルの下で実行されますが、これも喜びを追加しません。

この機会に、禁止サイトのリストを自動的にダウンロードする方法を紹介します。 誰かがそのような問題を抱えている可能性もあり、私の記事が現在その解決策を探している人々に役立つことを願っています。
Habréを含め、このトピックに関する多くの記事がすでに書かれていると言わざるを得ません。これらの記事に記載されている方法は、ほとんどの場合、完全な自動化を実現できませんでした。 リストのリクエストを手で作成する必要がある場所、手でスクリプトを実行する場所など。 私の場合、システムは完全に自動的に動作し、すべてが正常かどうかのみを確認します。 率直に言って、システムを上げるために、私はTosterで見つけた記事を利用しました。 Perlスクリプトを提示しましたが、少し変更して何かを追加しました。

もちろん、実装はかなり粗雑であることが判明しましたが、非常に機能しています。 すべてが1つのホストに配置されました。 これはWindows XPの古い会計コンピューターで、Rutokenがプラグインされ、ネットワークに接続され、ラックに閉じられました。 したがって、Roskomnadzorサービスからアーカイブがダウンロードされるディレクトリは、ローカルネットワークで共有されます。

次に、実装を検討します。

OSとして、私が言ったように、Windows XPが使用されました（バージョンは関係ありません）。WindowsVistaとWindows 7もこれらの目的に適しています。
最初は、ホストの唯一の目的は禁止サイトのレジストリを操作することであると考えています。

1.認定された分離電子署名（ES）およびそれを操作するためのソフトウェア（ソフトウェア）

電子署名の取得は、議論のための別のトピックです。 適切なライセンスを持っているさまざまな企業から購入することができます。その方法は、通常、企業自体から調べる価値があります。 私たちの場合、EPはLLC LLC "CRIPTO-PRO"から取得したので、これは私が説明するケースです。

購入したキットには、暗号化キーを含む署名媒体（Rutoken）、ES証明書、テクニカルサポート用の証明書、およびソフトウェアセットを含むディスクが含まれています。

OSがインストールされ、ホストが動作する準備ができたら、最初に行うことはESで動作するために必要なソフトウェアをインストールすることです。

最初に、Rutokenのドライバーをインストールします（ソフトウェアディスクにあるドライバーは適合しませんでした）。 それらは製造元のWebサイト（Windows用Rutokenセクション）で見つけることができます。

ドライバーをダウンロードしてインストールします。 すべてが正しく行われると、RutokenがUSBポートに挿入された後、LEDが点灯します。 （したがって、プログラムは「Rutoken Control Panel」と呼ばれます）。

次に、Crypto-PROプログラムをインストールします。 接続されたRutokenでこれを行う必要があります。
証明書は1年間有効であり、更新する必要があります。 この場合、古い証明書を削除し、新しい証明書を接続する必要があります。 証明書情報
「Start-> Crypto-Pro-> Certificates」で見つけることができます
この場所で問題が発生した場合は、テクニカルサポートに連絡することをお勧めします。彼らはすべてを正確に説明します。
私の場合、古い証明書を更新していました。 これを行うには、 「証明書」セクションに行き、
"Certificates-current user-> Personal-> Registry-> Certificates" 、古い証明書を手動で削除し、Rutokenを挿入してマシンを再起動しました。 現在の証明書は自動的に取得されました。

証明書が正しくインストールされていることを確認するには、キットに含まれているCrypto-AWPプログラムを使用してファイルに手動で署名します。

これを行うには、プログラムをインストールし、空ではない任意のファイルを作成します。
Crypto-AWPをオンにしてから、「署名->署名」を選択し、ファイルを選択してダイアログを表示し、最後に証明書を選択して「OK」をクリックします。 すべてが正しく行われた場合。 次に、ダイアログで指定されたディレクトリに、ファイルfilename.sigが表示されます。 このファイルは、分離された電子署名です。

Crypto-AWPプログラムは、禁止サイトのリストの自動アップロードシステムには関与しません。

必要な最も重要なものは、ユーティリティcsptest.exeです（ES検証はその助けを借りて行うこともできます）。これはCrypto-PROの一部です。
これは、ESを作成するためのコンソールユーティリティです。 Windows OSでのみ機能します。

開発者によると、このユーティリティはテスト専用であり、戦闘システムで使用することはできません。 彼女の能力は不完全です。 通常の操作では、Linuxサーバーで機能する別のユーティリティが使用されますが、別途料金を支払う必要があります。

実践では、csptest.exeがタスクの解決に非常に適していることが示されています。

2.自動ダウンロードの構成

Roskomnadzorサービスの使用は、 SOAPプロトコルの下で行われます。

アルゴリズムは次のとおりです

5分ごとに、ダウンロードが当日に実行されたかどうかを確認します（目的の名前のアーカイブが存在します）
はいの場合、何もしません。
そうでない場合は、ダウンロードを開始します。
禁止サイトのリストをアップロードするための最新のリクエストを作成します
署名ファイルを作成する
サーバーにリクエストを送信し、リクエストコード（またはリクエストが正しい場合はエラーメッセージ）を取得します
リクエストが正しい場合は、5分間待機し（リクエストは1〜2分処理されます）、リクエストコードをサーバーに送信します
制限付きファイルのリストを含むアーカイブをバイナリモードで受け入れます
リクエストが正しくない場合、エラーコードを取得し、何もしません。

アンロードシステムは次のとおりです。
4つのファイル、3つはperlスクリプト、1つは.batファイルタイプ
ファイル： make_request.pl 、 get_register.pl 、 rotation.pl 、 roscomnadzor.bat

スクリプトの目的。
make_request.pl- Roskomnadzorサービスへのリクエストを作成します
get_register.pl- Roskomnadzorサービスにリクエストを送信し、結果を処理します
rotation.pl-ダウンロードしたアーカイブを指定の深さで回転します
roscomnadzor.bat-スクリプトとユーティリティを同期します

システム展開

C：//ドライブ（または他のドライブ）のルートに作業ディレクトリを作成します。 私はroscomnadzorと呼ばれています。
その中に、ソースと結果の2つのサブディレクトリを作成します。

スクリプトはソースディレクトリに配置する必要があります。その操作の結果は結果ディレクトリに配置されます。 禁止サイトのリストを含むアーカイブ。
スクリプトを配置した後、ルートディレクトリからファイルへのパスを登録する必要があります（または、すべてを美しく実行したい場合は、configに配置します）。

動作原理

手順を実行するには、 roscomnadzor.batファイルを実行する必要があります

roscomnadzor.batのリスト

if not exist "D:\roscomnadzor\result\reestr_%Date:~6,4%_%Date:~3,2%_%Date:~0,2%.zip" ( rem     perl D:\roscomnadzor\source\make_request.pl rem      <  csptest>csptest.exe -sfsign -sign -detached -add -in <  >request.txt -out <  >request.txt.sig -my <  >@example.ru rem        perl D:\roscomnadzor\source\get_register.pl ren D:\roscomnadzor\result\reestr.zip "reestr_%Date:~6,4%_%Date:~3,2%_%Date:~0,2%.zip" perl D:\roscomnadzor\source\rotation.pl ) 

1.リクエストファイルの作成

make_request.plスクリプトはリクエストを作成し、リクエストファイルはソースディレクトリに作成されます。

ダウンロード要求は、次の形式のxmlファイルです。

 <?xml version="1.0" encoding="windows-1251"?> <request> <requestTime>yyyy-mm-ddT115:00:00.000+04:00</requestTime> <operatorName> </operatorName> <inn> </inn> <ogrn> </ogrn> <email>company@cmail.ru</email> </request> 

make_request.plのリスト

 use POSIX qw(strftime); my $date = strftime "%Y-%m-%d", localtime; #          unlink('<  >request.txt'); unlink('<  >request.txt.sig'); # xml    $request='<?xml version="1.0" encoding="windows-1251"?><request><requestTime>'.$date.'T115:00:00.000+04:00</requestTime><operatorName>COMPANY NAME</operatorName><inn>1111111111</inn><ogrn>1111111111111</ogrn><email>company@example.ru</email></request>'; #      my $filename = '<  >request.txt'; open(my $fh, '>', $filename) or die "   '$filename' $!"; print $fh $request; close $fh; 

2.署名ファイルを作成する

署名ファイルを作成するには、同じユーティリティcsptest.exeを使用し、batファイルから呼び出されます。

 D:\"Program files"\"Crypto Pro"\CSP\csptest.exe -sfsign -sign -detached -add -in <  >request.txt -out <  >request.txt.sig -my <  >@example.ru 

ここで：
-my-キーの所有者を示します。
-in-署名するファイルを指定します。 ファイルがcsptestフォルダーにない場合、フルパスを指定する必要があります。;
-out-署名ファイルの名前を指定します。

3. Roskomnadzorサービスとの対話

スクリプトget_register.plは、リクエストの送信と結果の処理を担当します


get_register.plのリスト

  use MIME::Base64; use SOAP::Lite; use POSIX qw(strftime); #----------------------------------------------------------------------- #   ,         $key1=0; $key2=0; if (open(FP, '<  >request.txt')) {$key1=1;} if (open(FP, '<  >request.txt.sig')) {$key2=1;} #   - if( ($key1==1)&($key2==1)) { #---------------------------- #     open(FIL,"<  >request.txt"); while ($line = <FIL>) { $ln.=$line; } close (FIL); $req=$ln; #---------------------------- #     open(FIL1,"<  >request.txt.sig"); while ($line1 = <FIL1>) { $ln1.=$line1; } close (FIL1); $sig=$ln1; #---------------------------- #        wsdl- $soap = SOAP::Lite->service('http://vigruzki.rkn.gov.ru/services/OperatorRequest/?wsdl'); $r = $soap->getLastDumpDate(); #    @r = $soap->sendRequest($req, $sig); $code = $r[2]; # 5        sleep 1, print "$_\n" for 1..300; #300 @r = $soap->getResult($code); #------------------------- #     (   ) #my $date = strftime "%Y-%m-%d_at_%H-%M-%S", localtime; #my $date = strftime "%Y-%m-%d", localtime; my $filename = '<  >reestr.zip'; open(my $fh, '>', $filename) or die "   '$filename' $!"; binmode $fh; print $fh decode_base64($r[1]); close $fh; } 

スクリプトの実行結果（サーバーの可用性による）は、次の形式の名前のアーカイブです： reestr_yyyy_mm_dd.zip

4.結果の回転

ダウンロード頻度が低い場合でも、遅かれ早かれ、マシンのハードドライブ上のすべての領域がビジーになり、最も悲惨な結果を招く可能性があります。 システムの操作性を長期間維持するには、ローテーションを整理する必要があります。 新しいアーカイブがダウンロードされると、古いアーカイブは徐々に削除されます。

rotation.plスクリプトは、 回転をオフにします

ローテーションの深さは、結果ディレクトリに同時にいくつのアーカイブが存在するかを決定します（特定のロジックについて、現在の日と比較した過去の時間間隔）

rotation.plのリスト

 use POSIX qw(strftime); use Time::Local; #  $birthtime =timelocal(localtime()); $interval = 0 + # 0  0 * 60 + # 0  0 * 60 * 60 + # 0  50 * 60 * 60 * 24; #  20  $then = $birthtime - $interval; my $date = strftime "%Y_%m_%d", localtime($then); #   unlink('<  >reestr_'.$date.'.zip'); 

5.スケジュールされた起動

スケジュールで実行するには、標準のWindowsタスクスケジューラを使用しました
schtasks（ http://www.windowsfaq.ru/content/view/83/57 ）

roscomnadzor.batが起動される時間間隔は、サーバーからのリクエストのタイムアウトよりも長くする必要があります

すべてが順調に機能している間に、3月中旬にシステムを開始しました。
ご清聴ありがとうございました。 私の記事がお役に立てば幸いです。