インタラクティブなlastfmマップに出会い 、映画用の同様のプロジェクトを間違いなく作成することにしました。 カットの下で、ストーリーは、データを収集し、グラフを作成し、例として映画検索とimdbからのデータを使用して独自のインタラクティブなデモを作成する方法についてです。 Scrapyスクラップブッキングフレームワークを見て、大きなグラフを視覚化する方法を検討し、ブラウザで大きなグラフをインタラクティブに表示するためのツールを扱います。

1.データ収集：スクレイピー

データソースとして、映画の検索を選択しました。 しかし、その後、これは非常に小さく、IMDbを削ったことが判明しました。 グラフを作成するには、映画ごとに、推奨される映画のリストを知る必要があります。 検索すると、十分なムービー検索パーサーとあらゆる種類の非公式のAPIを見つけることができますが、推奨事項を取得する方法はどこにもありません。 IMDbはデータセットをオープンに共有していますが、推奨事項はありません。 したがって、選択肢は1つだけです。スパイダーを作成します。

ハブのスクレイピングに関するいくつかの記事が既にあるので、可能なアプローチの概要はスキップします。 簡単に言うと、Pythonで記述していて、フレームワークを記述したくない場合は、 Scrapyを使用します 。 あなたが必要とするかもしれないほとんどすべてのものはすでに提供されています。

Scrapyは本当に非常に強力であると同時に非常にシンプルなツールです。 エントリーのしきい値は非常に低いですが、同時に、Scrapyはあらゆるサイズと複雑さのプロジェクトに簡単に拡張できます。 本当に必要なものがすべて含まれています。 ブロックのバイパス、スクレイピングの一時停止および再開などの方法を含む、受信した要素の直接解析およびHTTPリクエスト、処理および保存のためのツールからプロジェクトの管理まで。

プロジェクトの作成は、 scrapy startproject mycoolprojectで始まります。その後、最小限の作業構成で必要な要素とファイルのテンプレートを備えた既製の構造を取得します。 これから作業プロジェクトを作成するには、ページを解析する方法を説明するだけで十分です。つまり、スパイダーを作成してプロジェクト内のspidersフォルダーに配置し、抽出する情報を説明します。 scrapy.item 、 scrapy.itemスクリプトのscrapy.itemクラスからクラスを継承します。 したがって、1時間未満で完全に機能するプロジェクトを作成できます。 結果を保存するための組み込みツールがあります。たとえば、csvまたはjsonに書き込みますが、プロジェクトが5分間ない場合は外部データベースを使用することをお勧めします。 保存を含む処理結果に関連する動作は、 pipelines.pyで指定されています。 最後の重要なファイル-settings.pyが残っていsettings.py 、その目的は名前から明らかです。 ここでは、たとえば、プロキシの使用、リクエスト間のタイミングなどに関連するプロジェクトの構成を設定できます。

そして、次の手順で：

• Scrapyのプロジェクトを作成する方法については、記事を1回 、 2回 、 ドキュメントで確認します。 類推により、アイテム用に独自のクラスを作成します。

 import scrapy class MovieItem(scrapy.Item): '''Movie scraped info''' movie_id = scrapy.Field() name = scrapy.Field() like = scrapy.Field() genre = scrapy.Field() date = scrapy.Field() country = scrapy.Field() director = scrapy.Field() 

• ページで必要な要素を探して、xpathを取得します。 これは、たとえば、クロムを介して行うことができます。要素を右クリックし、コードで要素を検査を選択し、再度右クリックして、コピー-> xpathを探します。 デバッグのために、scrapy-shellを実行してページURLを渡すことができます： scrapy-shell https://www.kinopoisk.ru/film/518214/ 。 必要な要素を取得できる応答オブジェクトをインスタンス化します。

 $scrapy-shell https://www.kinopoisk.ru/film/sakhar-i-korica-1915-201125/ $response.xpath('//span[@itemprop="director"]/a/span/text()').extract_first() ' ' 

• 受信したオブジェクトの処理をカスタマイズします。 エントリは非常に単純なので、sqliteデータベースに保存することにしました。
• クエリの数を制限するために、起動時にCLOSESPIDER_PAGECOUNT=5パラメーターを設定して、すべてが機能することを確認します。
• 戦いに！ 中間結果を保存するディレクトリを作成します（例： crawls1 。 scrapy crawl myspider -s JOBDIR=crawls1パラメーターscrapy crawl myspider -s JOBDIR=crawls1スパイダーを開始します。何か問題が発生した場合は、終了した場所からスパイダーを再起動できます。 ドキュメントの関連セクション。

1.1リクエスト数の制限をバイパスします。

Kinopoiskは、クモをデバッグする段階でさえ、5秒ごとに5リクエストのパックを1秒のタイムアウトで送信したときに禁止しました。 制限を回避するための多くのオプションがあります。 スクレイピーの場合、トーラスの使用、リストからのプロキシのランダムなソート、または有料の回転プロキシサービスへの接続の既製の例は簡単にグーグルで検索できます。 「週末プロジェクト」があるため、有料のサービスに接続する必要がありますが、実装するのに最も速いオプションである回転プロキシを選択しました。 仕組み：プロキシプロバイダーの特定のIP：ポートに接続し、出力で各リクエストの新しいIPを取得します。 スクレイピー側では、プロジェクトのsettings.pyファイルに1行を追加し、各リクエストでip：portペアのパラメーターを渡す必要があります。

 DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware':543 } 

 scrapy.Request(url=url, callback=self.parse, meta={'proxy':'http://YOU_RPROXY_IP:PORT'}) 

私にインスピレーションを与えたプロジェクトの作者は、Nightwishから始めてから、lastfmの推奨事項をツリーと同じくらい広く回ってみたので、接続グラフを得ました。 私のアプローチも同様でした。 映画の検索からIDで映画を取得できます。これは、サイト上の映画のシリアル番号に単純に対応しているようです。 すべてのIDを取得するだけでは、ほとんどの映画には推奨事項がなく、マップ上のノイズに変わる単一ポイントになるため、うまく機能しません。 新鮮な映画のIDは500,000のオーダーです-これは視覚的なレンダリングには非常に多いので、上位250の映画のリストから始めて、各映画の推奨事項のリストを繰り返し見ていきましょう。

私は約100,000枚の映画を受け取ると予想していましたが、こすり落とす夜の終わりまでに、クモは約12,600で止まったことがわかりました。 映画検索の推奨事項はここで終わりです。 最初に述べたように、新しいデータを得るためにIMDbにアクセスしました。 IMDbのスクレイピングはさらに簡単です。 完成したプロジェクトを書き換えるのに数時間かかり、新しいスパイダーを開始する準備ができました。 2〜3日間のクロール（厚かましくならないように1秒間に8回のリクエスト）の後、クモは止まり、173 +千の映画を収集しました。 クモの完全なコードはgithubで見ることができます：フィルム検索とIMDb 。

2.可視化

一方では、グラフ視覚化ツールは動物園全体です。 一方、非常に大きなグラフになると、この動物園は突然どこかで駆け抜けます。 そのような場合のために、私は自分用に2つのツールを選択しました。これらはgraphvizとgephiのsfdpです。 SFDPは、幅広いパラメーターを備えたCLIユーティリティであり、100万ノードあたりのグラフを描画できますが、スタイリングプロセスを制御する必要があるため、このケースでは最も便利なツールではありません。 私たちのような場合、Gephiは素晴らしいです。これは、ほぼすべての好みに対応した、グラフィカルインターフェイスと普遍的なスタイリングを備えたアプリケーションです。

グラフのデータのエクスポートは、単純なpythonスクリプトを使用して行われます。 ドット形式は、「人間が読める」と呼ばれる非常に単純なため、通常使用します。 当初、この形式はgraphvizでの使用を目的としていますが、現在では他の多くのグラフアプリケーションでサポートされています。

フォーマットの説明
最初に、 digraph kinopoisk {\nヘッダーdigraph kinopoisk {\nを記述し、ファイルの終わりに閉じ括弧を書くことを忘れないでください} 。 各行で、グラフnode1 -> node2;エッジを説明しnode1 -> node2; リストを閉じます。 ここでの形式の説明： 公式ドックとWikipediaの簡単な例 。

 digraph sample { 1 -> 2; 1 -> 3; 5 -> 4 [weight="5"]; 4 [shape="circle"]; } 

2.1スタイリングの比較

大きなグラフの場合、gephiには2つの妥当なオプションがあります。OpenOrdとForceAtlas 2です。OpenOrdは非常に高速な近似アルゴリズムですが、構成可能なパラメーターはほとんどありません。 ForceAtlasは、他の古典的な力指向アルゴリズムに似ており、より正確な結果を提供し、チューニングに非常に柔軟性がありますが、時間をかけて支払う必要があります。 以下は、グリッドを表すグラフ上の両方のアルゴリズムの操作の例です。

より正確な結果を待つ時間がある場合は、OpenOrdをまったく使用すべきではないと考えるかもしれません。 実際、ForceAtlasがすべてのノードを1つのタイトな塊に収集し、OpenOrdが少なくとも何らかの構造を示す場合、グラフは珍しくありません。

プロセスを高速化するために、OpenOrdを初期近似として使用し、ForceAtlasでグラフを塗りつけました。 画像が少なくとも何かはっきりしているためには、お互いのノードのオーバーラップを排除する必要があります。 このためには、Yifan Huスタッキングを使用すると便利です-クラスターを少し汚すため、およびnoverlapを使用してオーバーラップを完全に除去します。 映画の検索グラフの重複を解消するのに一晩かかったため、週末全体でimdbに対処できませんでした。

3.結果のエクスポート：インタラクティブマップ

Gephiは、画像をsvg、pngなどの多くの形式にエクスポートできます。 しかし、ビッグデータには大きな困難が伴います。 美しい写真だけでは十分ではありません。 私たちは映画の名前とそれらがどのように関連しているかを見たいです。 ノードのラベルを描画すると、非常に多くのノードで、文字の完全に判読できないクラウドが得られます。 SVGを使用して、何かが見えるようになるまでスケーリングするオプション、または最も重要なラベルのみを描画するオプションがあります。 しかし、より良いオプションがあり、私はそれに集中することにしました。 インタラクティブなマップを作成します。

ツールの概要：

sigma.js
最初のオプションは、最もシンプルであると同時に最も直感的なものの1つで、 sigma.jsテンプレートにエクスポートするgephiのプラグインです。 上記のgifでは、それだけです。 gephiメニューからプラグインをインストールすると、ファイルタブに新しいエクスポートメニュー項目が表示されます。 フォームに記入し、エクスポートし、既製の作業の視覚化を取得します。 シンプルで強力。 結果はここで見ることができます 。 欠点：大きなグラフでは、ブラウザはほとんど対応しません。

gefx-js
次のオプションは前のオプションよりもさらに単純で、一般的に非常に似ています。 gefx-js-プロジェクトをgephiからgexf形式にエクスポートし、テンプレートフォルダーに配置するだけです。 できた 欠点は、前のケースとまったく同じです。 さらに、sigmajsを使用すると、少なくともローカルでimdbグラフを見ることができ、gefx-jsでは起動しませんでした。

openseadragon
非常に大きな画像を表示する必要がある場合は、 シードラゴンがあります。 原則は、地理的マップをレンダリングするときとまったく同じです。スケーリング時には、現在の増加と表示領域に対応する新しいタイルがロードされます。 それがまさに私にインスピレーションを与えたプロジェクトの著者です。 1つの欠点：最小の対話性。 ノードを選択することは不可能であり、rib骨がどこに行くかを見るのは困難です。 重なり合うノードとエッジを「覗き込む」ことはできません。

シングル
しかし、前のオプションの混合物のようなものを作成して、スケーリング時にグラフではなく、画像ではなく、最初の場合のようにノードとエッジの相互作用でロードされるとしたらどうでしょうか？ ターンキーソリューションは、文字通り奇跡によって発見されました。これらはshinglejsです。
長所：対話性を維持しながら、非常に（非常に）大規模なグラフをブラウザーでレンダリングできます。
短所：sigmagesほど美しくはありません;データの準備は簡単ではありません。

Shinglejsを使用したCountの画面

それほど美しくはないが、とても賢い

imdbグラフを視覚化するために、最後のオプションを選択しました。 一般的に、選択の余地はありませんでした。 ここで結果を確認し、そのような視覚化のためにデータを準備する方法について少し説明します。

データをshinglejsにエクスポートする：
前に述べたように、後者の場合のデータのエクスポートはそれほど単純ではないため、singlejsのgephiからグラフをアンロードする方法の例を示します。

• gephiからgdf形式でグラフをエクスポートする-これはおそらく、テーブルの形でノードの座標を取得するための唯一の簡単な方法です。 ファイルの構造は次のとおりです。最初にノードの説明が記載されたテーブルがあり、次にエッジの説明が記載されたテーブルがあります。
• ファイルを読み取り、そこから頂点とエッジの説明を取得します。 パンダでこれを行った後、データフレームを2つのエッジとノードに切り分けました。 パンダでの作業について。
• ドックのShinglejsに従って列の名前を変更し、jsonにエクスポートします。 Shinglejsは色の直接エクスポートをサポートしていませんが、ノードごとに「コミュニティ」を指定して、すでに色を付けることができます。 したがって、映画の評価はコミュニティタグとしてアンロードされます。
• メインページのソースで、コミュニティの色のリストを指定することを忘れないでください。 色のリストからノードに色を付けるには、次のように計算される数値を持つ要素を使用します： id % 。
• ファイルを1つに接着します。 これはbashを使用して行いましたcat start imdbnodes.json middle imdbedges.json end > imdbdata.json 、以前にそれぞれ「 {"nodes": 」、「 , "relations": 」、「 } 」の内容のstart, middle, stopファイルを作成しました。
• さらにオフィスからの指示に従って。 サイト
• ビットマップを作成して、それをグラフデータフォルダーに入れることを忘れないでください。 プロジェクトの作成者はこの詳細を示していないようですが、デフォルトでは、デフォルトのプロジェクトをビルドした後のようにnpmではなくimage_2400.jpgおよびimage_1200.jpgをロードしようとします。

4.興味深い観察

lastfmコラムには、日本のポップスやロック、ギリシャのメタルなど、音楽グループの出身国に関連する明確なクラスタリングがあります。映画でもまったく同じことが起こります。 韓国映画、トルコ語、日本語、ブラジル語は非常に明確に分離されています。 imdbでは、大規模なものからはほど遠い、漫画の大きなクラスターが際立っています。 両方のグラフで、コミックブックのスーパーヒーロー映画のクラスターは非常に密集しています。 悪い映画が1つの大きな雲に集まっていることは明らかですが、それでも予想外のことです。 ハリー・ポッターの世界についてのミュージックビデオ、子供向けのYouTubeブログ、ファン映画の別々のクラスターがあります。

5.このデータで他にできること

読者は、受け取ったデータについてさらに多くの興味深いプロジェクトを考え出し、実行できると確信しています。 すぐに次のアイデアを思いつきます。

• コレクションをクラスター化し、コンパイルします。 DBSCANは、最初の実行からほとんどうまくいきました。 （例が続きます）
• 独自の推奨システムを作成する
• 映画全般に関する興味深い統計を収集する
• もちろん、フィルムライブラリを拡張します。

5.1 DBSCAN

グラフをクラスタリングするには多くの特別な方法があり、それらはすべて別の記事に値します。 実験として、グラフ用ではない方法を使用しました。 理由は次のとおりです。グラフが視覚的に類似のフィルムの雲に分解されると、 DBSCANを使用してフィルムが特に近接している領域を見つけることができます。 深く掘り下げることなく、このメソッドが何をするのか見てみましょう。 DBSCANという名前は密度ベースのスキャンを表します。つまり、この方法を使用して、かなり近くにあるポイントをマージします。 これは、2つの主要なハイパーパラメーターを介して形式化されます。これは、各ポイントの近傍を探す半径と、近傍の最小数です。

1.座標を取得します。
これを行うために、gephiからグラフをgdf形式でエクスポートします。 pandasを使用してファイルをcsvとして読み取ります。

 data = pd.read_csv('./kinopoisk.gdf') # gdf  -     #   ,     # pandas     ,      #   nan          data_nodes = data[data['y DOUBLE'].apply(lambda x: not np.isnan(x))] 

それでは、どのように見えるかを描きましょう。

 plt.figure(figsize=(7, 7)) plt.scatter(data['x DOUBLE'].values, data['y DOUBLE'].values, marker='.', alpha=0.3); 

まあ、DBSCANはそれを処理する必要があります。

2.クラスター。
パラメーターを選択し、クラスターサイズの分布を確認します。 重大な作業は予定されていなかったので、品質を「目で」評価しました。

 from sklearn.cluster import DBSCAN coords = data_nodes[['x DOUBLE', 'y DOUBLE']].values dbscan = DBSCAN(eps=70, min_samples=5, leaf_size=30, n_jobs=-1) labels = dbscan.fit_predict(coords) plt.hist(labels, bins=50); 

クラスターサイズの分布

クラスターの色でポイントを色付けして、結果がどのように真実に見えるかを見てみましょう。

 plt.figure(figsize=(8, 8)) for l in set(labels): coordsm = coords[labels == l] plt.scatter(coordsm[:,0], coordsm[:,1], marker='.', alpha=0.3); 

欲しいもののように見えます。

リスト形式で映画のクラスターを取得してみましょう。 リストを取得するのに便利な方法を作ることに気をつけなかったので、今回はコードなしで。 以下は、「本物のグール」で1つのクラスターになった映画のリストです。 私の意見では、悪くない。