WhatsAppとVKのオープンデータから人々のデータベースを収集します

映画Mission Impossible IIからのショット

この話は、数か月前、息子の1歳の誕生日に始まりました。 不明な番号からのお祝いと願いとともに、SMSメッセージが私の電話に届きました。 私の誕生日だったら、文化的なことではなく、「ありがとう、あなたは誰ですか？」 しかし、誕生日は私の誕生日ではありません。おめでとうと言う人を見つけるのは面白かったです。

最初の成功

次のオプションを試してみることにしました。

• 不明な番号を電話のアドレス帳に追加します。
• 順番に関連付けられているアプリケーション（Viber、WhatsApp）に順番に進みます。
• 新しく作成した連絡先と新しいチャットを開き、写真から送信者を特定します。

幸運なことに、私の場合、写真のミニチュアが新しく作成された連絡先の隣にあるViberの連絡先リストに表示されました。これにより、完全に開かずに送信者を認識し、「調査」に満足し、おめでとうございます

検索が成功して2回目の陶酔感が生じた直後に、モバイルオペレーターの番号のリストをソートしてベース[phone_number => photo]をまとめるというアイデアが頭に浮かびました。 さらに1秒後に、これらの写真を顔認識システムに渡し、他のオープンデータ（ソーシャルネットワークからの写真など）とリンクするというアイデア。

当然、ポイント3（写真から送信者を決定するため）では、失敗が私たちを追い越す可能性があり、この失敗には6つの選択肢があります。

• 番号はWhatsAppまたはViberに関連付けられていません
• ユーザーはいますが、プロフィール写真を自分で設定していません
• 写真は設定されていますが、設定は「プライバシー」または「プライバシー」に設定されています（「連絡先にのみ写真を表示」が、このリストにはありません）
• 写真は入手可能ですが、猫が写っています
• 写真に人物が写っていますが、顔の特徴や体格を区別できません（鮮明度の欠如、低解像度、暗めのメガネ、帽子、帽子、化粧）
• 写真では、部屋の所有者。 フルフェイス; 高解像度ですが、この人を思い出すことはできません

4番目の段落（写真の猫）には多くのオプションがあります。これらは有名人の写真、漫画のキャラクター、食べ物、車、武器などの写真です。

少量のテスト。

ペンのテストとして、彼の連絡先リストで実験することが決定されました。 Androidスマートフォンでは、Viberは連絡先写真を/ sdcard / viber / media / User photosフォルダーに[Hash] .jpgとして保存します。 ファイルは、この連絡先と会話したか、少なくとも彼のプロファイルを開いてしばらくして削除したという条件でのみ保存されます。 実験では、20人のユーザーのプロファイルを手動で開いたり閉じたりします。

ファイルが見つかった知り合いの一部は、ソーシャルネットワークでも発見され、「顔を自動的に認識する」オプションを有効にしてPicasaプログラムにアップロードされました。 プログラムによって認識された人は、所有者に応じて名前が付けられました。 次のステップでは、Viberからの写真を含むフォルダーをPicas'eにフィードします。 類似した人の場合、疑問符の付いたアイコンが「ユーザー」ウィンドウに表示されます。

私の場合、元の20人のユーザーについて、Viber Picasaは2つの一致のみを検出しました。 同時に、これらの2つのケースは非常にコミカルに一致しました：各ペアでは写真は互いに異なっていましたが、同じ日に撮影されました（最初の人の場合、頭の回転と笑顔の有無は2つの写真で異なり、2番目の場合は笑顔だけが異なりました）。



現在の合計は非常に成功しています。
Viberのサンプル：20（すべて猫と食べ物が並んでいます）
VKからのサンプリング：5（写真内の誰かを視覚的に認識できる場合のみ）
忠実な人のマッチ：2
偽の一致：0

検索を開始します

電話を使用してデータを取得してみましょう。 Viberは電話帳から連絡先を取得します。これは、Android OSではGoogleアカウントに関連付けられており、アカウントごとに25,000の番号の制限があります。 現在、モスクワに割り当てられている携帯電話会社の数は93,311,000であるため、このような「正面からの解決策」で基地を獲得するという考えはもはやありません。 さらに、Viberが少なくとも25,000個の番号の最初のバンドルを取得した場合でも、各プロファイルに移動して、結果の[Hash] .jpgファイルを特定の番号に接続する必要があります（おそらく、ファイルの作成日まで追跡できます）しかし、それはまだ非常に時間がかかり、長いです）。

ソリューションはすぐに見つかりました。ネットワークには、別の一般的なサービスであるWhatsAppのソフトウェア実装があります。 すべての呼び出しはphpを経由します。 新しいユーザーを登録するための既製のスクリプトがあり、実際にはgetProfilePictureを呼び出す例があります。 プロセスを開始するには、* nixサーバーが必要であり、要求の頻度と速度にどれだけ耐えられなくなるかを理解する必要があります。 実験のために、Whatsappにログインし、無限ループで数値+ 7XXXXXXXXXX getProfilePictureを受信/受信せず、画面にタイムスタンプを表示するphpコードを作成しました。 最初とその後の起動時に、このコードは220〜250の数値に達し、 タイムアウトになりました-200回ごとにスリープ（5）を一時停止しようとします-とにかくtimeout プロセスを完了し、すぐに再起動を試みます-成功。 したがって、サーバーの制限（200リクエスト後に再度ログインする必要があります）、またはこのphp実装のエラーに対処しています。 私は実験しませんでしたが、phpスクリプトを書き直して200個の数字のみを処理し、ループ内でパラメーター$ startPhoneNumberで phpを開始して終了するのを待つBash制御スクリプトを追加することで、1石で2羽の鳥を殺しました。

したがって、1秒あたり5.7の速度の動作する列挙スキームが得られました。
モスクワの全容量を処理するには、次のものが必要です。

93 311 000（数値）/ 5.7（毎秒の数値）/ 60（秒）/ 60（分）/ 24（時間）〜 190日 。

マルチスレッド

WhatsAppログインは大量に行われます

ユーザー名 -7XXXXXXXXXX形式の電話番号
パスワード -登録スクリプトを介して受け取ります（登録には、確認コードを取得するために動作するsimカードが必要です）
ニックネーム -任意の名前

WhatsAppは、一度にユーザー名ごとに1つ以上の認証を禁止します。 これに関連して、MegaFonオペレーター200 rの3枚のSIMカードがそれぞれ公式ストアで購入されました。 それぞれ。 Centos OSの同じサーバーから、3つすべての数値がWhatsAppに登録され、3つすべてがBeeline Businessの能力を備えたスクリプトに従って実行されました。 保存された写真に対する部屋の数の比率は、10から1の範囲でした。 次に、「数百」と「数千」のために差が大きくなりました。これらは明らかにまだ分布しておらず、範囲全体で単一の画像を生成していません。

ロックする

WhatsAppライセンス契約（登録時に同意します）は次のとおりです。



SIMカードはすべて、3日目に説明なしでブロックされました。 ログは、すべてのカードで同時にモスクワ時間の00:22にシャットダウンが発生したことを示しています（各カードを処理するために管理された約500,000の番号）。 興味深いことに、WhatsAppサーバーは最初に非常に長い時間リクエストに応答し始め、その後、認証を完全に停止しました。 サーバーは、番号「 Failed; Reason：Blocked; 」を登録しようとして応答します。 WhatsAppを人間として登録しようとすると、「申し訳ありませんが、WhatsAppサービスを使用できなくなりました。」というメッセージが電話からポップアップ表示されます。

実行中の3つのスクリプトすべてが同じ速度で同じことを行っていたという事実に加えて、それらを同時にブロックする多くの共通点がありました。つまり、すべて同じニックネーム「V」でログインし、 IPアドレス

スキームを複雑にします

私たちは、彼らが少し賢くなったと信じています（すなわち、これらの3つのSIMに600ルーブルを費やしました）。 今回は、メトロの「非公式ストア」で100ルーブルで10枚のSIMカードを購入します。 一枚。 スクリプトを複雑にし、SIMカードの配列を作成し、1つの素晴らしい映画の俳優のリストに従って、それぞれにニックネームを付けます。



容量を2,000未満の数字に分割します。 また、プッシュオーバー経由でプッシュ通知スクリプトをBashとphpに追加します（「7XXXXX開始」、「7XXXXX終了」、「ヒューストンに問題があります」）

WhatsAppサーバーから非標準の回答を送信するか、非常に長い（5秒を超える）応答がない状態で後者を送信します。

今後、WhatsAppは私よりもトリッキーであり、これらのSIMカードはすべて、しばらくしてほぼ同時にブロックされたと言いたいと思います。 いずれにせよ、スクリプトはまだ8,000,000の電話番号をうまく処理し、411,279枚の写真を手にしています。 20対1の比率。これはすでに非常に良好です。


モスクワの処理結果の選択

ネネツ自治管区

長い間、残りのSIMカードを有効にしてスクリプトを実行することはできませんでした。 最後に、無料の議事録が登場し、それにより、モスクワからのバスティング（人口12 197 596人）が威勢のいいものであることを認める強さがありました。 したがって、私たちは若々しい最大主義をより深く隠し、例えばネネツ自治管区のような人口の少ない主題を取り上げます。 なぜだ。 スクリプトを開始します-そして、12時間後にNenets okrugのすべての容量の列挙が完了しました。 169,995の数字について、合計2,288枚の写真がWhatsAppで見つかりました。 次のステップに進みます。

VKontakte

タスク：興味のある都市を持っているVKユーザーのすべての写真を取得します。

VK APIの処理にはかなりの時間がかかりました。 そして、getuserリクエストはアクセストークンなしで問題なく完了できることがわかりました。 ただし、検索クエリ（特定の都市の人だけを取得する）はトークンでのみ機能し、スタンドアロンアプリケーションではなくユーザーで受信されます。 記事「vk apiを操作するためのアクセストークンを取得した方法」は 、これに役立ちます。 ただし、このトークンを受け取った場合でも-制限が発生します-たとえば、Naryan-Mar（Nenets Autonomous Okrug）の都市がリストされているにもかかわらず、1000人のユーザーしか取得できません（1回のリクエストで1000人ではなく、合計1000人）。 。

総当たりでget_usersを実行しようとします。次のリクエストで、$ id = 1からNまでのすべてのVKontakteユーザーをソートします。

 response=$(curl --silent "https:// api.vk.com /method/users.get?user_id=$id&fields=photo_max_orig,country,city") 

この記事を書いている時点では、VKontakteにはN = 3億人のユーザーがいました。 写真をダウンロードせずにこのようなリクエストを行うと、1秒かかりました。

300,000,000（ユーザー）/ 1（毎秒）/ 60（秒）/ 60（分）/ 24（時間）〜3472日。

VKがIPアドレスをブロックしない場合、1つのスレッドで合計約3472日です。 オプションは破棄されました。

users.searchに戻ります。出力の数には制限がありますが、リクエストの「品質」には制限がありません。 説明します。 リクエストでは、パラメータを無限に絞り込むことができます。たとえば、女性または男性のみを撮影する、問題を半分にする、または写真を持っている人だけを撮影する、そして最も便利なのは特定の年齢の人だけを撮影することです。最大80回。合計66回の1000回の実行。ただし、一部の年齢で1000を超える場合は、性別でさらに分割してこのようなクエリを繰り返します。


Naryan-MarのVKユーザーの年齢分布



19歳で、VKは何かを疑い、問い合わせに非常にゆっくりと反応し始めました。 1時間半後、13,967枚の画像がダウンロードされました。 残りの1,700人は、まったく表示されていなかったようです。 ダウンロードされた別の400個の画像は、何らかの理由で壊れているか、非常に小さい（<10 kb）ことが判明しました。

顔認識と比較

すでにわかっているように、受け取った画像の中には猫と車がたくさんあるので、最初はそれらをフィルタリングしたいと思います。 OpenCV（オープンソースコンピュータービジョンライブラリ、オープンソースコンピュータービジョンライブラリ）がこれに役立ちます。

このライブラリに基づいたさまざまなプログラミング言語の実装が多数あります。 たとえば、写真の顔の座標を決定するfacedetect。 彼女はImageMagickと一緒に、認識された顔を座標で別のファイルに切り取ります。

写真の顔認識により、Betafaceから興味深い実装があります。 多数の画像の有料APIがありますが、アップロードされた写真に存在する全員を認識し、性別、口ひげ、メガネ、笑顔の存在を判断し、推定年齢（私は27歳、うさぎのぬいぐるみ）を示す優れたデモがあります冷蔵庫で-42）。


英語の開発者Terence Edenから既製のpythonスクリプトを取得します。 彼は非常に興味深いプロジェクトの一部としてそれらを書きました。 彼の仕事は、ロンドンテートブリテン博物館から絵画の公開コレクションをダウンロードし、その上にいる人々の画像を認識することでした。 次に、結果の顔のベースと写真を使用して、可能な限りあなたに似た人物を描いた写真を見つけることができます。 残念ながら、彼はWeb APIを提供していませんが、すべてのソースはgithubにあります。

Terenceスクリプトを修正します-British Galleryからのダウンロードをオフにし、フォルダーごとの処理を削除します。


処理結果：
VKからの13,500個の画像=> 6,427 / 5,446人。 （考慮に入れる/ 1枚の写真に複数の人物がいる場合を除く）
WhatsAppの2 208 => 963/876人

興味深いパターンが見られています-ユーザーが2人に1人はプロファイルに写真を載せていません。

次の認識は、 eigenfaces.xmlモデルの作成です。 このスクリプトは、ソース写真フォルダーからXMLファイルを作成するために用意されており、今後検索されます。 したがって、1つのセットにこのようなファイルを準備し、2番目の要素から1つの要素を取得して、一致するものを探します。 技術者は、どのキットをメインとして使用するかを決定しました。VKからの6,400枚の写真は、「 4GBを超えて割り当てることができませんでした 」というメモリエラーでスクリプトで処理できませんでした 。 時間-11泊-理解するのは狩りではありません-WhatsAppからスクリプト963枚の写真を見て、20分後にeigenfaces.xmlのサイズが1.6 GBになっています。 VKの場合のサイズを想像できます。 後で判明しました。スクリプトを自分でやり直しましたが、モデルの識別行を誤って削除しました。すべての要素の識別子が「0」ではありませんでした。 スクリプトが実行されるまで数日待ってから検出するのはばかげているでしょう。 エラーを修正し、さらに20分待ちます。

次に、VKの各ファイルに対して、検証スクリプトを実行します。

 find detectedVK/ -name *.jpg -exec ./myscript.sh {} \; #myscript.sh python recognise.py detectedWH $1 100000 >> result 

ここでの「100000」は、100での一致の精度であり、完全一致です。
1回の比較に40秒あります。 1つのプロセッサで6 400 * 40〜3日。 夜に出発します。 寝ましょう-明日は月曜日です。

一致のこのような小さなサンプルではゼロになると考えていたとすぐに言わなければなりません。 スクリプトが機能している間、私は定期的に偶然の一致を見ました。 私が示した正確さで多くの結果がありましたが、よく調べてみると、「3500」程度のマッチでも、男の子と女の子の結果がたくさんありました。 同時に、これら2人の親relativeという感じがありました。 結果は興味深いものですが、これは私たちが探していたものとはまったく異なります。

最初のヒットは、最初の1,000アカウントの終わりに発生しました。 Naryan-Mar市の女の子YanaがWhatsAppとVKに同じ写真を載せました。 写真は同じ（解像度のみが異なる）にもかかわらず、一致の精度は〜3,000です。精度が6,000未満のすべての結果について、 converを使用して一致する画像を組み合わせて視覚的に最終決定を下します。

 ... if [ "$precise" -lt 6000 ] then echo $precise $whIMG $vkIMG convert detectedWH.bak/$whIMG detectedVK.bak/$vkIMG -append convertResults/${precise}_$whIMG$vkIMG fi ... 

合計で、2日目の終わりまでに、25個のVKアカウントが正常に認識され、電話番号に関連付けられました。

これは、見つかったWhatsApp顔の数の2％、またはすべての画像の1％です。


Naryan-Marの分析結果

これは素晴らしい結果だと思います。その理由は次のとおりです。

• 小さなサンプルがあり、それらの間に大きな違いがあります（16,600 VK対2,000 WhatsApp）。
• 一致を見つけるために、Eigenfacesアルゴリズムのみを使用しましたが、たとえばFisherfacesを追加できます。
• Viberを介して類推ブルートフォースを追加することにより、認識の機会を増やすことができます。
• VKからは、最後のプロフィール写真だけでなく、以前のいくつかの写真も撮ることができます。
• 最後に、Facebook、クラスメートなどをソーシャルネットワークのリストに追加できます。

特定の数字について話すことは困難ですが、すべてのポイントが観察された場合、成功したヒットの割合が大幅に増加することは確かです。 もちろん、このためのプロセッサパワーも数回増やす必要があります。

おわりに

なぜこれだけなのか。 得られたデータの社会への実用的な実用化はまだ考えていません。 研究のためにちょっとした研究になりました。

OpenCVライブラリは優れたツールであり、取得したデータを使用して、多くの興味深い実験を行うことができます。

最後まで読んだ人への報酬として、これは、例えば、楽しいオプションです：ロシア人と外国人の有名な女優の写真からeigenfaces.xmlモデルを収集し、WhatsAppから受け取ったMuscovitesデータベースへの準拠を検索します（現在、約400,000人）。 道徳的な要素を考慮せずに（つまり、質問：見知らぬ人に電話するのは文化的ですか）、番号をダイヤルして映画館に招待します。 3000〜100の精度でメインキャラクターのように見える女の子と映画館に行くのは楽しいです。



結論として、「プライバシー設定を確認することを忘れないでください」と言うことができます。 しかし、私は偏執的なムードの大後援者ではありません（「 彼らは私がどこにいるか知っています」、「インターネットプロバイダーは私のすべてを知っています」、「ビッグブラザーは私たちをフォローしています」など）。 たとえば、妻が電話で匿名のジオデータのコレクションをオフにすると、彼女が「見つける」という言葉（誰が、最も重要なのは彼女がまだ思いついていない理由）で私は面白がっています。

誰かが私を探してくれるかどうかはわかりません-人生で何も違反していないようです（WhatsAppライセンス契約を除く）。