SEOタスク用のIPythonノートブックデータ処理

SEO、SMM、マーケティングの分析タスクを実行するとき、私たちはデータ処理ツールの圧倒的に増加する数に直面しました。 それぞれは、その機能またはユーザーアクセシビリティに合わせて調整されています。ExcelとVBA、サードパーティのSEOツール、PHPとMySQL、Python、C、Hiveなどです。 カウンター、広告システム、CRM、YandexとGoogleのウェブマスターツール、ソーシャルネットワーク、HDFSなど、さまざまなシステムとデータソースが問題を追加します。 セットアップと使用の容易さ、データの受信、処理、視覚化、およびさまざまなタイプのソースの操作を行うモジュールを組み合わせたツールが必要です。 iPythonノートブック（最近Jupyterノートブック）が選ばれました。これは40のプログラミング言語でスクリプトを操作するためのプラットフォームです。 このプラットフォームは、データ処理および機械学習の専門家の間で、科学計算に広く使用されていました。 残念ながら、Jupyterノートブックは、マーケティングタスクの自動化とデータ処理に使用されることはほとんどありません。


SEOのWeb分析およびデータ処理タスクの場合、Jupyterノートブックはいくつかの理由で適しています。
-簡単なセットアップ
-コードを記述する必要のないデータ処理と視覚化
-パーソナルコンピューターリソースが不足しているため、より強力な仮想マシンで（たとえば、Amazon Webサービスを使用して）ノートブックを実行し、スクリプトコードを変更せずに必要なデータを計算できます。

この記事では、Jupyterノートブックを使用して実用的な問題を解決するのに役立つ3つの例を紹介します。

Yandex Metrica API
多くの場合、サイト訪問に関するレポートを準備するタスクがあります;これらのレポートのデータは、システムを一度セットアップするだけで自動的に収集できます。 時間の増加は明らかです。 この例では、Yandex MetricsのいくつかのプロジェクトのすべてのYandex検索メトリックから統計をダウンロードする方法を確認します（この場合、Webインターフェイスからすべての統計を取得するのはかなり困難です）。

Word2vec
テキストデータの自動処理には複雑なアルゴリズムがあります。これらを使用して、データを具体的に分析する方法を簡単に見てみましょう。 word2vecを使用して解決できるタスクは、単語のタイプミスの検索、同義語の検索、および「類似」単語の検索です。

PageRankの計算
SMOの専門家にとって、PR計算アルゴリズムを使用して、コミュニティの最も権威のあるメンバーを見つける方法は興味深いでしょう。 同じ成功を収めてスクリプト設定をわずかに変更すると、サイトで最高のPageRankを持つページを見つけることができます。 また、D3jsを使用してVKontakteグループのユーザーを視覚化する方法についても説明します。

レポートは、2月4日にRambler＆Coで開催された最初のSEO Meetup「データドリブンSEO」で紹介されました（ ビデオへのリンク ）。

これらの例の既製のコードはGitHubで取得できます。

Jupyterノートブックをインストールする
パーソナルコンピューターにインストールするには、2つの手順だけが必要です。
1. Anaconda pythonディストリビューションをインストールします

2.コマンドプロンプトで、conda install jupyterを実行します。

コマンドラインでノートブックを起動するには、次を実行します：jupyter notebook

インストールが成功した場合、ブラウザウィンドウが開きます。


Yandex Metricsからのレポートのアンロード
（ サンプルコード ）
検索フレーズレポートからデータを自動的にアップロードする方法を見てみましょう。 このようなレポートを手動でアップロードすることの問題は明らかです。YandexMetricは常にテーブル全体を一度にダウンロードできるとは限りません（大規模なプロジェクトの場合、行数は数十万になります）。 Python構文に慣れていない人のために、この例を詳細に分析します。
habrastorage.org/files/385/ae6/980/385ae698096d4b7b9df4e116ede90525.jpg

APIリクエストに必要なライブラリをインポートし、JSON形式で作業します。

# -*- coding: utf-8 -*- import requests import json 

Ctrl + Enter-行を実行します。 Shift + Enter-行を実行して次の行に進みます。

カウンターへのリクエストのトークンを取得します。
1. https://oauth.yandex.ru/ページでアプリケーションを起動し、Yandex.Metrica統計を受信する許可を与えます。 スクリーンショットは記事https://habrahabr.ru/post/265383/にあります。

2. URL https://oauth.yandex.ru/authorize?response_type=token&client_id=のアプリケーションIDを置き換えます
その結果、Yandex Metricへのすべてのリクエストで使用する認証トークンを取得します。 受信したトークンをトークンスクリプト変数にコピーします。

アンロードのパラメーターを設定します。
プロジェクト-データを取得するカウンターのリスト（カウンターのリストの8桁の数値metrika.yandex.ru）
startDateおよびendDate-「YYYY-MM-DD」の形式のアップロード期間の開始日と終了日。 たとえば、startDate = '2016-01-31'
limit-1つのリクエストでアンロードする行数。 たとえば、レポートに500,000行ある場合、limit = 10000（APIの現在のバージョンの最大値）で、スクリプトはテーブル全体をアンロードするために50個のクエリを作成します

データが書き込まれるファイルを消去します（新しいアップロードのたびに手動で行わないようにします）。 ファイル名は次のいずれかで設定できます。

 f = open('search phrases.txt', 'w') f.close() 

さらにループでは、プロジェクトシートにリストされているカウンターのすべての番号を調べます。

 for project in projects: 

各プロジェクトカウンター番号について、最初の行からアンロードを開始し（オフセット= 1）、各サイクルでこの値を制限ごとに増やします。 APIリクエストのパラメーター（ tech.yandex.ru/metrika/doc/api2/api_v1/intro-docpageドキュメントへのリンク）：
oauth_token-私たちが受け取ったトークン
id-カウンター番号
精度=フル-精度、「フル」の値はスライダーの位置に対応します100％
ディメンションと指標-ディメンション（表の行）と指標（列）

結果（JSON https://docs.python.org/2/library/json.htmlの操作方法 ）がタブ区切りファイル（\ t）に追加されます。 最後のアップロードは、使い慣れたレポートやExcelなどのツールへのコピーアンドペーストです。

Word2vec
（ サンプルコード ）
Word2Vecライブラリを使用するには、まずgensim pypi.python.org/pypi/gensimを追加インストールします（デフォルトではAnacondaディストリビューションには含まれていません）。 モデルの入力時に、検索フレーズの初期リストからの文のリストが提供されます。 つまり、[['watch'、 'films'、 'online']、['course'、 'ruble']、...]という形式のシートです。

次に、モデルパラメーターを設定します。
-num_features-ベクトル空間の次元。 値が大きいほど、モデルが入力データを考慮する「精度」が高くなります（ディメンションを増やしてもモデルの品質が向上しない場合があります）。 通常、10〜数百の値が使用されます。 したがって、ディメンションが大きいほど、より多くのコンピューティングリソースが必要になります。
-min_word_count-モデルの最終辞書で頻繁に出現する単語のみを考慮することができます。 ほとんどの場合、5〜100の値が使用されます。その結果、実用的な意味を持つ単語のみを残して、辞書のサイズを大幅に削減します。
-num_workers-モデルが並行して構築するプロセスの数
-context-アルゴリズムが考慮するコンテキスト内の単語数。 検索語は非常に短い「文」です
-ダウンサンプリング-テキストに頻繁に出現する単語を除外します。 Googleでは、.00001〜.001の値を推奨しています

この例では、モデルは500万で構築されました。 2GBの空きRAMを搭載したラップトップで約40分間の検索クエリ。 この量のデータは、SEOタスクに使用できます。

1.タイプミスと意味的に関連する単語を検索します（対応するベクトルの近接度のコサイン尺度は、単語の反対側に示されます）。

ロシア語レイアウトでのクエリ「yandex」のタイプミスと意味的に関連する単語：


クエリ「syria + asad」に関連する単語の例：


フレーズでは、「意味する」ことでクエリを区別できます（対応するベクトルの近接性に関して）。 ドアおよび車のロックの発行は、スイスの城とは異なります。


2.エンティティの関係を見つける。 このモデルへのクエリは、ロシアに適用される単語とドルが米国を指す単語を表示します。 これらは、検索クエリからのロシアの通貨であることが論理的です：


3.リスト内の「余分な」単語の定義
「forex」、「oil」、「gold」という単語は、「odnushka」よりも検索クエリからのベクトル空間で互いにはるかに近くなります。


同様に、「猫」、「男」、「象」、「チンチラ」のリストから、「動物」記号のない要求は不要です。


4.自動コンテンツクラスタリング
Word2Vecを使用してモデルを構築すると、一般的なクラスタリングアルゴリズムを使用して、ベクトル空間で単語を自動的にクラスター化できます。 たとえば、1000個のテキストのLenta.ruモデルにKMeansアルゴリズムを適用すると、主要なニュース記事が得られます。
-ウクライナに対する禁輸


-パリでのテロ攻撃（語「bataklat」は、ステマによって劇場「Bataklan」の名前を処理した結果として得られた）


-シリアのS-400


Neworkxでグラフを操作する
（ Vkontakte APIデータアップロードコード、 処理、および視覚化 ）
専門用語では、グラフはエッジで接続されたノードのセットです。 実際には、ノードはソーシャルネットワークまたはグループのユーザー、サイトのページにすることができます。 rib骨として-一対のユーザー間の友情の存在、メッセージ、グループ投稿のようなマーク、サイトの他のページへのリンク。 Networkxライブラリを使用すると、このようなグラフを作成し、さまざまなグラフの特性を読み取ることができます。 VKontakteグループの例を見て、各ユーザーのPageRankを計算し、ブラウザーで視覚化する方法を見てみましょう。

例として、660の参加者（視覚化のため）の比較的小さなグループの1つを取り上げました。このグループでは、多くの参加者が互いに精通しています。 グラフを作成するには、グループメンバーのリスト（VKontakteのgroups.getMembers APIメソッド）をアンロードし、参加者ごとに友人のリスト（friends.getメソッド）を取得するだけで十分です。 アップロードの結果は、次の形式でテキストファイルに書き込まれます。
{
ユーザーID
[ユーザーの友達リスト]
}

その結果、グラフgのノードはグループメンバーのIDになり、エッジはこのユーザーの友人のIDになります。 PageRankを計算するには、関数x = networkx.pagerank（g）を使用します。 グループのトップメンバーを表示します。


視覚化には、 D3.jsライブラリforce-collapcibleを使用します。 ノードのサイズとして、そのページランクを取得します。


ノードにカーソルを合わせると、そのノードが属しているIDを確認できます。 users.getメソッドを使用して、IDごとにユーザーに関する詳細情報を表示できます： https ://api.vk.com/method/users.get?user_id=12345