状態をオープンにする方法、パート1：自分の手で事故統計をダウンロードする

うまく検索すれば、非常に多くの有用で適切な品質の状態情報を見つけることができます。 しかし、残念ながら、これはまだではありません。試験と教育、天気、地図作成、犯罪データ...、交通事故です。

したがって、私には2つの命があります。1つは、役人が人や組織が求めるデータを開くのを支援し、もう1つは、特に「頑固な」政府機関の公開データベースをオープンデータに変換し、それについて他の人に教えるパーサーを書くことです。多くのプロジェクトがあり、州は避けられないものを我慢し、すべてを私たちにとって便利な形にするでしょう。

この記事は、「Gossitesから機械読み取り可能なデータを取得する方法」シリーズの最初のマニュアルになります。 ですから、今日-交通事故の統計について、そして州は私たちにそれを与えていないので、私たちはそれを自分で収集する方法を学びます。 伝統により、コードとデータが添付されます。

事故について

世界保健機関の報告を信じるなら、2013年のロシアでは、交通事故で10万人あたり18.9人が死亡しました。スウェーデンでは2.8人、ベラルーシでは13.7人です。



しかし、すでに2017年には、ベラルーシの死亡率はEU諸国よりも低くなり、一般に10年で3倍に減少しました。 写真はもう1つの興味深い点を示しています。ロシアの場合、2010年以降状況は変わっていませんが、ベラルーシとスウェーデンでは、死の赤い線が持続的に減少しています。

奇跡の理由は、スウェーデンのプログラムVision Zeroです 。これは、人々をより注意を払って責任を持たせることは難しいが、環境自体が人々の安全を確保できるようにすることです。

ベラルーシでは、この考えに基づいて「マイナス100」プログラムが開始されました（毎年100人の死者を出しませんでした）が、ある時点で、速度の低下、速度の低下、および交通制御の機能が顕著な効果を発揮しなくなりました。

それから私はデータに頼らなければなりませんでした。 この分析から得られた結論は予想外でした。たとえば、ミンスクでは、酔っ払ったドライバーと激しく戦い、その2％がありました。 はい、そして人々はスピードを保っていたので、それはポイントではありませんでした。 本当の理由は、暗闇で目に見えない歩行者とドライバーの朝の注意散漫でした（2017年にミンスクで死亡した41人のうち32人は歩行者であり、最も頻繁に起こる死亡事故は00：00-03：00と06：00-09：00の間に発生しました）。

もちろん、ロシアでは、事故の統計を研究した結果、道路上の「悪い」場所を見つけて説明できるという結論に、研究者は何度も思いつきました。 2012年、ノボシビルスクの活動家は、地元の交通警察のレポートを収集する2012年10月から2013年3月まで毎日、歩行者との交通事故マップを作成しました 。

ロシアのデータソース

ロシアでの交通事故の適切な分析を行う機会は、交通警察からの交通事故統計マップとともに登場しました。少なくとも2016年には、正確な住所と時間に関するデータを見つけることが可能であり、2017年には情報がありました（約！）夢見ることができるのは、交通状況の詳細、時刻、事故と損害の詳細などです。 このすべてに、「しかし」たった1つしかありませんでした。データは一度に1つしかダウンロードできませんでした。 自治体は、たとえばモスクワの1つの地区です。

方法1 ：マウスを3回クリックしてモスクワのある地区のstat.gibdd.ruのデータにアクセスし 、さらに3回クリックしてそれらをダウンロードします（少なくともxmlで、そしてjsonについてこのオプションを忘れてください）。 数えてみましょう：ロシアの85の地域には、合計2423の自治体があります。

2423 * 6 = 14538マウスクリック

瞑想：



あなたが動揺しないように、 方法2もあります： 道路の安全な リソース。RF通信省（彼らはstat.gibdd.ruもダウンロードする疑いがあります）。

その中で、「オープンデータ」セクションでは、最初、不完全な統計がcsvで「フラット」形式で表示され、2017年にはjsonで詳細になりましたが、このリソースでは常に何かが発生します：2017年7月に詳細データが投稿されましたが、8月すべてセキュリティ証明書の有効期限が切れたため、サイトは機能しませんでした。 その後、再び機能しましたが、誰もデータを更新しませんでした。 2018年5月の初めに、更新プログラムが登場しましたが、詳細なデータが再び失われました-気象条件、車両の損傷の性質など（2017年の603 MBではなく90 MB）。

しかし、ロシアのプログラマーはあきらめず、この間に多くの優れたプロジェクトが作成されました。SergeyUstinov jimborobinの BarnaulとMoscowの事故統計、Alexander Kukushkin alexkukuの詳細な研究 、Konstantin Varikの視覚化 。
upd：HuGoのおかげで、 クラスノヤルスクの 「Zero Deaths」とキーロフのdtpstat.ruの 2つのプロジェクトが追加されました。
upd2：Alexander Elmekeevの詳細な研究を読むことをお勧めします。 現在、マップ上の表示は機能していませんが、 ソースコードはそのままです。 ジオタグを修正します。

そして、2つの長期プロジェクト： 「ゼロデス」-Vision Zeroへの答えとサンクトペテルブルクの道路での交通事故の分析と予測に関するごく最近のプロジェクトは、 こちら （できればIE経由）で見ることができます。

もちろん、急いでいるプロジェクトごとに、別のパーサーが作成されました...

自分でパーシム

パーサーは 、完全に安定して動作することを願っていますが、実際にはちょうど1年前に書きました（そして、この記事は添付されているはずです）。 そのタスクは、研究者に最新のデータを提供することです。そのため、コマンドラインとマニュアルさえあります。

しかし、コードに移る前に、まずサイトを独立して探索する方法を学びましょう。 必要なのは、 ChromeブラウザーとPostmanアプリケーション（同時にPostman Interceptorアドオンをインストールする）です。
インストール後、 chrome：// chromeのアドレスバーにappsと入力します。Postmanを含む、アプリケーションがインストールされたページが開きます。

サイトを勉強します

さまざまなサイトエンジンがあります。 最も単純なものは、パラメーターを設定できるアドレスバーで管理されます。 stat.gibdd.ruは異なります。jsonで urlコマンドとデータパケットを組み合わせるという原則に基づいて動作します。 それでも、すべてのサイトの研究戦略は同じです。ChromeDevToolsを起動し、サイトに必要な処理を強制し、デバッガーウィンドウで変更を注意深く監視します。

それでは、モスクワのある地区のデータを取得してみましょう。
stat.gibdd.ruを開き、好きな期間（2017年の全体があります）を選択し、その横にある[適用]ボタンをクリックします。



次に、マップ上でモスクワを選択すると、デバッガーを起動できます。マップ上のどこかを右クリックし、[コードの表示]を選択すると、[ 開発ツール]ウィンドウが表示されます。 その中にメニューの[ ネットワーク ]タブがあります。 不要な不要なリクエストを削除するには、すぐにフィルターを[ すべて]から[ XHR]に変更することをお勧めします。

好きなエリアを選択します（Perovoがあります）。 DevToolsウィンドウでは、左側にgetDTPCardDataと呼ばれる2つのリクエストが表示されています。 それらのいずれかをクリックして、右側のウィンドウで[ ヘッダー ]タブを選択すると、リクエストヘッダーが表示されます。 ここでは、リクエストの正確なURLと、リクエストの送信方法（GETおよびPOSTの場合があります）に関心があります。 詳細に興味がある人、そして私たちの場合、 POSTの碑文を見て同意します。 すぐ下にステータスコードの値があります：200-リクエストが成功し、データが到着したことを意味します。 スクリーンショットで一度にすべてを見る：

データをダウンロードする

リンクができたので、jsonパッケージを見つける必要があります。 これを行うには、[ ヘッダー]ウィンドウを最後までスクロールし、 [ペイロードのリクエスト]セクションを参照します。 [ リクエストペイロード]の横にある[ ソースを表示]をクリックして、元の形式でデータパケットを取得します。 どこかに自分自身にコピーします。 これで、 Postmanを介してサイトエンジンから直接データを受信する準備がすべて整いました。



Postmanを起動し、すぐにインターセプターをオンにします（上部にある丸いアイコン、矢印が指します）。 インターセプターは Cookieをインターセプトします それらがなければ、サイトは私たちの要求を満たすことを拒否します。

次に、リクエストを設定する必要があります。送信方法としてPOSTを選択し、コマンドurlを貼り付け、以前にコピーしたデータパケットを追加します（Body-> raw-> JSON（application / json） ）。 一般的に、赤い矢印に従ってください。



次に、[ 送信 ]または[ 送信 してダウンロード ]をクリックして、データをすぐにダウンロードします。 ウィンドウの右下に「Status：200 OK」という碑文が表示され、jsonファイルをダウンロードするためのウィンドウが開きます（2つの黒い矢印に注目します）。 エラーの場合、ステータス500が表示される可能性が高く、jsonではなく、txtがエラーテキストとともにダウンロードされます。

私はすべてがうまくいったことを願っています、そして今jsonで何を持っているかを理解しましょうか？



最初のパラメータは非常に長い「日付」パラメータで、期間が設定され、毎月個別に登録する必要があります。 「MONTHS：1.2017」のように見えます。「MONTHS」は必須キー（常に大文字）、1は月番号（1月）、2017は明らかに年です。

さらに2つの必須フィールドがあります。 「ParReg」 -地域のOKATOコード（この場合は45-モスクワのコード）と「reg」 -自治体のOKATOコード（この場合は45263583-Perovo地区のコード）。

そして、解析の運命が依存するさらに2つの重要なフィールド：これらは、 「st」と「en」という2つのフィールドです。つまり、リソースから取得する最初と最後の事故カードの数です。 デフォルトでは、サイトは16枚のカードを入れます（これはサイトのポップアップウィンドウで確認できます）が、 st = 1、en = 100を指定して、すぐに100件の交通事故を起こすことができます。 貪欲にならず、たくさん（例えば1000）を入れないことをお勧めします。 サイトはタイムアウトによりリクエストを中断する場合があります。 次のカードが必要な場合は、 st = 101、en = 200と書いてください。

あなたがすでに疑問に思っているなら、それは良いでしょう、なぜそこに「\」があるのですか？ これらはサーバーに転送するためのjsonパッケージの詳細ですが、次のように簡単に説明できます。 「データ」の後にコロンが付いたものはすべて行です。 文字列に単純に引用符を書くことはできないため、その前にバックスラッシュが配置されます。 Postmanやその他のシェルの場合、これは重要ですが、Pythonを介してリクエストを送信すると、すべての処理が行われます。

そして、不注意な研究者に苦痛を与える別の重要な詳細。 サーバーに送信されるデータの重量をできるだけ少なくするために、いわゆる「コンパクトレコード」があります。 私たちにとって、これは私たちが「美のために」置くすべてのスペースが禁止されていることを意味します。 stat.gibdd.ruはこれに非常に敏感であるため、リクエストが正しいと思われ、200ではなくHTTP 500が返された場合は、スペースがどこかに入力されているかどうかを確認してください。

パーサーを書く

準備ができて、（できれば）コメントが十分なパーサーはこちら 。

彼について知る必要がある最も重要なこと：

1）データを受信します： r = requests.post（url、json = payload） 。 ここで、 urlとpayloadは、 DevToolsを介してキャッチし 、 Postmanに追加した値です。
擬似コードの一部。これにより、事故カードを取得できます。

cards_dict = {"data":{"date":["MONTHS:1.2017"],"ParReg":"71100","order":{"type":"1","fieldName":"dat"},"reg":"71118","ind":"1","st":"1","en":"16"}} cards_dict["data"]["ParReg"] = "45" #   cards_dict["data"]["reg"] = "45263583" #   cards_dict["data"]["st"] = 1 #   cards_dict["data"]["en"] = 100 #   cards_dict_json = {} cards_dict_json["data"] = json.dumps(cards_dict["data"], separators=(',', ':')).encode('utf8').decode('unicode-escape') #         r = requests.post("http://stat.gibdd.ru/map/getDTPCardData", json=cards_dict_json) #    +     

2）サイトから送信されたデータを使用するには、jsonに戻す必要があります： json.loads（r.content） ：

 if r.status_code == 200: cards = json.loads(json.loads(r.content)["data"])["tab"] 

3）データをファイルに保存するには、次のように記述します： json.dump（json_data、f、ensure_ascii = False、separators =（ '、'、 '：'））ここで、 json_dataはデータであり、 fはそれらが含まれるファイルですwrite、 ensure_ascii = False-私のように、キリル文字の代わりにキリル文字のようなものを読みたくない場合に保存されます。 。

 filename = os.path.join(data_dir, "{} {} {}-{}.{}.json".format(region["id"], region["name"], months[0], months[len(months) - 1], year)) with codecs.open(filename, "w", encoding="utf-8") as f: json.dump(dtp_dict_json, f, ensure_ascii=False, separators=(',', ':')) 

より便利なリンク

jsonには、エスケープされた制御文字がしばしば付属しています。 シールドを削除するには、 オンラインサービスがあります 。

事故に関する情報を生の形で読みやすくするために、 jsonパーサーが役立ちます。 さらに、バリデーターがあります-ファイルのほとんどを捨てる必要があると同時に、括弧が収束しなくなる場合に便利です。

誰かがスクリーンショットで説明を作成する方法を疑問に思っているなら、 FastStone Captureをお勧めします。

また、パーサーは必要ないが、すぐにデータが必要な場合は、 こちらをご覧ください 。 これは、2015年1月1日から2018年4月3日までのすべての事故統計です。ちなみに、パーサーは交通警察のウェブサイトと比較してわずかなボーナスを提供します。 そのため、ユーザーには3月と4月のわずかなデータがあります。

良いデータと研究。 政府のサイトを保護し、ドロップしないでください。

コメントの結果に応じて更新 ：データを解析したり、事故でプロジェクトを行った場合は、何らかの方法で私に連絡してください（コメント、PM、nike64 @ gmail.com）。 私の同僚と私はそのようなプロジェクトから経験を集めています。 テレグラムチャットOpenDataRussiaChatで、このデータやその他のオープンデータについて話すことができます。