オープン機械学習コース。 トピック1. Pandasを使用した初期データ分析

コースの構成：

• Habréに関する10件の記事（および英語のMediumに関する同じ記事）
• 10の講義（ロシア語のYouTubeチャンネル+英語の最近の講義 ）、各トピックの詳細な説明はこの記事にあります
• mlcourse.ai リポジトリーおよびKaggleデータセット形式の再現可能な資料（Jupyterノートブック）（ブラウザーのみが必要です）
• 素晴らしいKaggle Inclassコンペティション（「xgboostsのガラス」ではなく、標識の作成）
• 各トピックの宿題（リポジトリ内-タスクのデモバージョンのリスト ）
• 評価の動機付け、豊富なライブコミュニケーション、著者からの迅速なフィードバック

現在のコースの開始は、 2018年10月1日から英語で行われます（参加のための調査へのリンク 、英語で記入）。 VK グループの発表に従い、OpenDataScienceコミュニティに参加してください。

シリーズの記事のリスト

1. パンダを使用した一次データ分析
2. Pythonを使用したビジュアルデータ分析
3. 分類、決定木、および最近傍法
4. 線形分類および回帰モデル
5. 歌：バギング、ランダムフォレスト
6. 標識の作成と選択。 ワープロ、画像、およびジオデータタスクのアプリケーション
7. 教師なし学習：PCA、クラスタリング
8. Vowpal Wabbitによるギガバイトベースのトレーニング
9. Python時系列分析
10. 勾配ブースト

この記事の概要

1. コースについて
2. コースの宿題
3. パンダの基本的な方法のデモンストレーション
4. 流出を予測する最初の試み
5. 宿題№1
6. 有用なリソースの概要

1.コースについて

私たちは、機械学習またはデータ分析に関する別の包括的な入門コースを開発するタスクを設定していません（つまり、これは、YandexとMIPTの専門化、HSEでの追加教育、その他の基本的なオンラインおよびオフラインプログラムと本に代わるものではありません）。 この一連の記事の目的は、知識をすばやく磨くか、さらなる研究のためにトピックを見つけるのを助けることです。 このアプローチは、数学と機械学習の基礎のレビューから始まる、 深層学習の本の著者のアプローチに似ています-短く、最大限に能力があり、ソースへの豊富なリンクがあります。

コースを受講する場合は、警告を表示します。トピックを選択して資料を作成するときは、学生が専門大学の2年レベルで数学を理解し、少なくともPythonでプログラミングする方法を知っていることに注目します。 これらは厳密な選択基準ではなく、単なる推奨事項です-数学やPythonを知らなくてもコースに登録でき、同時に構成できます：

• 基本的な数学（数学解析、線形代数、最適化、理論、統計）は、 これらの Yandex＆MIPTノート（許可と共有）に従って繰り返すことができます。 簡単に言えば、ロシア語で-あなたが必要なもの。 詳細であれば、マタン-クドリャフツェフ、リナール-コストリキン、最適化-ボイド（英語）、理論と統計-キブズン。 さらに、MIPTの優れたオンラインコースとCourseraのHSE。
• Pythonの場合、Datacampの小さなインタラクティブチュートリアルまたはPythonと基本的なアルゴリズムとデータ構造に関するこのリポジトリで十分です。 より高度なものは、たとえば、サンクトペテルブルクのコンピューターサイエンスセンターのコースです。
• 機械学習に関しては、つまり、古典的な（しかし少し時代遅れの）Andrew Ng機械学習コース（Stanford、Coursera）です。 ロシア語では、MIPTとYandexの優れた専門分野である「機械学習とデータ分析」があります。 そして、ここに最高の本があります：「パターン認識と機械学習」（司教）、「機械学習：確率的展望」（マーフィー）、「統計学習の要素」（Hastie、Tibshirani、Friedman）、「Deep Learning」（Goodfellow） 、ベンヴィル、クールビル）。 Goodfellowの本は、数学のレビューと、機械学習とそのアルゴリズムの内部構造のわかりやすく興味深い紹介から始まります。 ロシア語のディープラーニングに関する本があります。「ディープラーニング：ニューラルネットワークの世界への没入」（ニコレンコS. I.、カドゥリンA. A.、アルハンゲリスカヤE. O.）。

また、コースについてはこの発表に記載されています。

どのソフトウェアが必要ですか

コースを完了するには、多くのPythonパッケージが必要です。それらのほとんどは、Python 3.6を使用したAnacondaビルドに含まれています。 後で、他のライブラリが必要になります。これについては後で説明します。 完全なリストはDockerfileにあります。

また、必要なソフトウェアがすべてインストールされているDockerコンテナを使用することもできます。 詳細は、 リポジトリの Wiki ページにあります 。

コースへの接続方法

正式な登録は必要ありません。開始（18年1月1日）後であればいつでもコースに接続できますが、宿題の締め切りは大変です。
しかし、あなたについてもっと知るために：

• アンケートに記入して、 実際の名前を示します。
• OpenDataScienceコミュニティに参加してください 。コースの議論はチャンネル＃mlcourse.aiで行います。

2.コースの宿題

• 各記事にはJupyterノートブック形式の宿題が付属しており、コードを追加する必要があります。これに基づいて、Googleの形式で正しい答えを選択します。
• 宿題のソリューションは、フォームでソリューションを提出した人に送信されます。
• 一連の記事の最後に、要約が要約されます（参加者の評価）。
• 宿題の例は、シリーズの記事（最後）に記載されています。

3.パンダの基本的な方法のデモンストレーション

すべてのコードは、 この Jupyterノートブックで再現できます。

Pandasは、広範なデータ分析機能を提供するPythonライブラリです。 データセンティストが使用するデータは、多くの場合、ラベルの形式で保存されます。たとえば、.csv、.tsv、または.xlsx形式です。 Pandasライブラリを使用すると、このような表形式のデータは、SQLに似たクエリを使用して読み込み、処理、分析するのに非常に便利です。 また、ライブラリMatplotlibおよびSeaborn Pandasと組み合わせて、表形式データの視覚的分析のための十分な機会を提供します。

Pandasの主なデータ構造は、 Series クラスとDataFrameクラスです。 これらの最初のものは、固定タイプの1次元のインデックス付きデータ配列です。 2番目は、2次元のデータ構造です。これは、各列に同じタイプのデータが含まれるテーブルです。 Seriesオブジェクトの辞書と考えることができます。 DataFrame構造は、実際のデータの表示に最適です。行は個々のオブジェクトの機能の説明に対応し、列は機能に対応します。

#  Pandas  Numpy import pandas as pd import numpy as np 

ビジネスの主な方法を示し、通信事業者の顧客の流出に関するデータセットを分析します （ダウンロードする必要はありません。リポジトリにあります）。 データを読み取り（ read_csvメソッド）、 headメソッドを使用して最初の5行を確認します。

 df = pd.read_csv('../../data/telecom_churn.csv') 

 df.head() 

 pd.set_option('display.max_columns', 100) pd.set_option('display.max_rows', 100) 

各行は1つのクライアントを表します-これは調査の対象です 。
列はオブジェクトの機能です 。

データのサイズ、特性の名前、およびそれらのタイプを見てみましょう。

 print(df.shape) 

 (3333, 20) 

テーブルには3333行と20列があります。 列名を表示します。

 print(df.columns) 

 Index(['State', 'Account length', 'Area code', 'International plan', 'Voice mail plan', 'Number vmail messages', 'Total day minutes', 'Total day calls', 'Total day charge', 'Total eve minutes', 'Total eve calls', 'Total eve charge', 'Total night minutes', 'Total night calls', 'Total night charge', 'Total intl minutes', 'Total intl calls', 'Total intl charge', 'Customer service calls', 'Churn'], dtype='object') 

データフレームとすべての記号に関する一般情報を表示するには、 infoメソッドを使用します。

 print(df.info()) 

 <class 'pandas.core.frame.DataFrame'> RangeIndex: 3333 entries, 0 to 3332 Data columns (total 20 columns): State 3333 non-null object Account length 3333 non-null int64 Area code 3333 non-null int64 International plan 3333 non-null object Voice mail plan 3333 non-null object Number vmail messages 3333 non-null int64 Total day minutes 3333 non-null float64 Total day calls 3333 non-null int64 Total day charge 3333 non-null float64 Total eve minutes 3333 non-null float64 Total eve calls 3333 non-null int64 Total eve charge 3333 non-null float64 Total night minutes 3333 non-null float64 Total night calls 3333 non-null int64 Total night charge 3333 non-null float64 Total intl minutes 3333 non-null float64 Total intl calls 3333 non-null int64 Total intl charge 3333 non-null float64 Customer service calls 3333 non-null int64 Churn 3333 non-null bool dtypes: bool(1), float64(8), int64(8), object(3) memory usage: 498.1+ KB None 

bool 、 int64 、 float64およびobjectは属性のタイプです。 1つの属性が論理（ブール）、3つの属性がオブジェクト型、16の属性が数値であることがわかります。 また、 infoメソッドを使用してデータのギャップをすばやく確認すると便利です。この例では、各列に3333の観測値があります。

astypeメソッドを使用して、列タイプを変更できます 。 このメソッドをChurn適用し、 int64変換しint64 ：

 df['Churn'] = df['Churn'].astype('int64') 

describeメソッドは、各数値特性（タイプint64およびfloat64 ）のデータの主要な統計特性を示します。欠損値の数、平均、標準偏差、範囲、中央値、0.25および0.75四分位数。

 df.describe() 

非数値記号の統計を調べるには、対象のタイプを明示的にincludeパラメーターに指定する必要があります。

 df.describe(include=['object', 'bool']) 

カテゴリ型（ object型）およびブール型（ブール型）の記号には、 value_countsメソッドを使用できます。 ターゲット変数Churnによるデータの分布を見てみましょう。

 df['Churn'].value_counts() 

 0 2850 1 483 Name: Churn, dtype: int64 

3333人のユーザーのうち2850人が忠実で、 Churn変数の値は0です。

変数Area codeによるユーザーの分布を見てみましょう。 パラメーターの値normalize=Trueを指定して、絶対周波数ではなく相対周波数を表示します。

 df['Area code'].value_counts(normalize=True) 

 415 0.496550 510 0.252025 408 0.251425 Name: Area code, dtype: float64 

仕分け

DataFrameは、任意の符号の値でソートできます。 この例では、たとえば、 Total day charge （ ascending=Falseで並べ替える場合はascending=False ）によって：

 df.sort_values(by='Total day charge', ascending=False).head() 

列グループでソートできます：

 df.sort_values(by=['Churn', 'Total day charge'], ascending=[True, False]).head() 

時代遅れのソート makkos に関するコメントを ありがとう

データのインデックス作成と取得

DataFrameは、さまざまな方法でインデックスを作成できます。 この点に関して、簡単な質問を例として使用して、データフレームから必要なデータをインデックス付けおよび抽出するさまざまな方法を検討します。

単一の列を取得するには、 DataFrame['Name']という形式の構成を使用できます。 これを使用して、データフレーム内の不誠実なユーザーの割合はどれくらいかという質問に答えます。

 df['Churn'].mean(). # : 0.14491449144914492 

14.5％は企業にとってかなり悪い指標であり、そのような割合の流出を破ることができます。

非常に便利なのは、単一の列でDataFrameの論理インデックスを作成することです 。 df[P(df['Name'])]になります。ここで、 PはName列の各要素に対してチェックされる論理条件です。 このインデックスの結果は、 Name列の条件Pを満たす行のみで構成されるDataFrameです。

これを使用して、 不誠実なユーザーの数値記号の平均値はいくらですか？という質問に答えます。

 df[df['Churn'] == 1].mean() 

 Account length 102.664596 Number vmail messages 5.115942 Total day minutes 206.914079 Total day calls 101.335404 Total day charge 35.175921 Total eve minutes 212.410145 Total eve calls 100.561077 Total eve charge 18.054969 Total night minutes 205.231677 Total night calls 100.399586 Total night charge 9.235528 Total intl minutes 10.700000 Total intl calls 4.163561 Total intl charge 2.889545 Customer service calls 2.229814 Churn 1.000000 dtype: float64 

前の2種類のインデックス作成を組み合わせて、質問に答えます。不誠実なユーザーは、日中平均してどれくらい電話で話しますか？

 df[df['Churn'] == 1]['Total day minutes'].mean() # : 206.91407867494823 

国際ローミングサービスを使用しない忠実なユーザー（ Churn == 0 ）（ 'International plan' == 'No' ）間の国際通話の最大長は？

 df[(df['Churn'] == 0) & (df['International plan'] == 'No')]['Total intl minutes'].max() # : 18.899999999999999 

データフレームには、列または行の名前、またはシリアル番号でインデックスを付けることができます。 名前による索引付けには、 番号 ilocによる locメソッドが使用されます。

最初のケースでは、 「0から5の行のidおよび州から市外局番の列 の値を渡します」 、2番目の場合、 「最初の3列の最初の5行の値を渡します」と言います 。

ホステスへの注意：スライスオブジェクトをilocに渡すと、データフレームは通常どおり切れます。 ただし、 locの場合、スライスの開始と終了の両方が考慮されます（ ドキュメントへのリンク 、コメントをありがとうarkane0906 ）。

 df.loc[0:5, 'State':'Area code'] 

 df.iloc[0:5, 0:3] 

データフレームの最初または最後の行が必要な場合は、 df[:1]またはdf[-1:]構造を使用します。

 df[-1:] 

セル、列、および行への関数の適用

各列への関数の適用：適用

 df.apply(np.max) 

 State WY Account length 243 Area code 510 International plan Yes Voice mail plan Yes Number vmail messages 51 Total day minutes 350.8 Total day calls 165 Total day charge 59.64 Total eve minutes 363.7 Total eve calls 170 Total eve charge 30.91 Total night minutes 395 Total night calls 175 Total night charge 17.77 Total intl minutes 20 Total intl calls 20 Total intl charge 5.4 Customer service calls 9 Churn True dtype: object 

applyメソッドを使用して、各行に関数をapplyすることもできます。 これを行うには、 axis=1指定します。

列内の各セルに関数を適用する： map

たとえば、 mapメソッドを使用して、 {old_value: new_value}形式の辞書を引数として渡すことにより、列の値を置換でき{old_value: new_value} 。

 d = {'No' : False, 'Yes' : True} df['International plan'] = df['International plan'].map(d) df.head() 

replaceメソッドを使用して、同様の操作を実行できます。

 df = df.replace({'Voice mail plan': d}) df.head() 

データのグループ化

一般に、Pandasのデータグループは次のとおりです。

 df.groupby(by=grouping_columns)[columns_to_show].function() 

1. groupbyメソッドはgroupby適用され、データをgrouping_columns （特性または特性セット）で分離します。
2. 必要な列を選択します（ columns_to_show ）。
3. 1つまたは複数の機能が、受信したグループに適用されます。

Churn属性の値に応じてデータをグループ化し、各グループの3つの列の統計を表示します。

 columns_to_show = ['Total day minutes', 'Total eve minutes', 'Total night minutes'] df.groupby(['Churn'])[columns_to_show].describe(percentiles=[]) 

同じことをしましょう。ただし、わずかに異なる方法で、関数のリストをagg渡します。

 columns_to_show = ['Total day minutes', 'Total eve minutes', 'Total night minutes'] df.groupby(['Churn'])[columns_to_show].agg([np.mean, np.std, np.min, np.max]) 

要約表

サンプルの観測値が、 ChurnとInternational plan 2つの機能のコンテキストでどのように分布しているかを確認するとします。 これを行うために、 crosstabメソッドを使用して分割表を作成できます 。

 pd.crosstab(df['Churn'], df['International plan']) 

 pd.crosstab(df['Churn'], df['Voice mail plan'], normalize=True) 

ほとんどのユーザーは忠実であり、同時に追加のサービス（国際ローミング/ボイスメール）を使用していることがわかります。

Excelの上級ユーザーは、おそらくピボットテーブルなどの機能を思い出すでしょう。 Pandasでは、 pivot_tableメソッドはピボットテーブルを担当し、パラメーターとして受け取ります。

• values -必要な統計を計算する変数のリスト、
• indexデータをグループ化する変数のリスト、
• aggfuncグループごとに実際にカウントする必要があるもの-量、平均、最大、最小、または他の何か。

異なる市外局番の日中、夜間、夜間の平均通話数を見てみましょう。

 df.pivot_table(['Total day calls', 'Total eve calls', 'Total night calls'], ['Area code'], aggfunc='mean').head(10) 

データフレームの変換

Pandasのその他の機能と同様に、DataFrameに列を追加するにはいくつかの方法があります。

たとえば、すべてのユーザーの合計通話数を計算します。 Series型のオブジェクトtotal_calls作成し、データフレームに挿入します。

 total_calls = df['Total day calls'] + df['Total eve calls'] + \ df['Total night calls'] + df['Total intl calls'] df.insert(loc=len(df.columns), column='Total calls', value=total_calls) # loc -  ,      Series #   len(df.columns),       df.head() 

中間シリーズを作成せずに、既存の列から列を追加できます。

 df['Total charge'] = df['Total day charge'] + df['Total eve charge'] + df['Total night charge'] + df['Total intl charge'] df.head() 

列または行を削除するには、 dropメソッドを使用して、引数として目的のインデックスとaxisパラメーターの必要な値を渡します（列を削除する場合は1 、行を削除する場合は0または0 ）：

 #       df = df.drop(['Total charge', 'Total calls'], axis=1) df.drop([1, 2]).head() #       

4.流出を予測する最初の試み

流出が「国際ローミングの接続」（国際計画）という記号でどのように接続されているかを見てみましょう。 これを行うには、 クロスタブピボットプレートを使用するとともに、Seabornで説明します（このような画像を作成し、それらを使用してグラフィックを分析する方法は、次の記事の資料です）。

 pd.crosstab(df['Churn'], df['International plan'], margins=True) 

ローミングが接続されると、流出シェアがはるかに高くなることがわかります-興味深い観察結果です！ おそらく、ローミングにおける多額で管理が不十分な費用は、非常に相反するものであり、通信事業者の顧客の不満を招き、したがって流出につながります。

次に、もう1つの重要な兆候である「サービスセンターへの呼び出し回数」（顧客サービス呼び出し）を見てください 。 ピボットテーブルと画像も作成します。

 pd.crosstab(df['Churn'], df['Customer service calls'], margins=True) 

ピボットプレートではそれほどはっきりと見えないかもしれません（または数字のある線に沿って目をクロールするのは退屈です）が、写真は、サービスセンターへの4回の呼び出しから流出の割合が大幅に増加することを雄弁に示しています。

ここで、DataFrameにバイナリ記号を追加します。これは、 Customer service calls > 3の比較の結果Customer service calls > 3です。 そして再び、それがどのように流出に関連付けられているかを見てみましょう。

 df['Many_service_calls'] = (df['Customer service calls'] > 3).astype('int') pd.crosstab(df['Many_service_calls'], df['Churn'], margins=True) 

上記の条件を組み合わせて、この結合と流出の要約プレートを作成します。

 pd.crosstab(df['Many_service_calls'] & df['International plan'] , df['Churn']) 

これは、サービスセンターへのコール数が3を超えており、ローミングが接続されている場合（およびロイヤルティを予測する場合-それ以外）にクライアントの流出を予測することを意味します。 この85.8％は、非常に単純な推論で得られたものであり、これから構築する機械学習モデルのベースラインとして適しています 。

一般に、機械学習の登場前は、データ分析プロセスは次のように見えていました。 要約すると：

• サンプルでの忠実な顧客の割合は85.5％です。 そのようなデータに対して「顧客は常に忠実」であるという答えが最も素朴なモデルは、約85.5％のケースで推測されます。 つまり、後続のモデルの正解のシェア（ 正確度 ）は、少なくともこの数字より少なくないはずですが、この数字よりもかなり高くなければなりません。
• 次の式で条件付きで表現できる単純な予測の助けを借りて：「国際計画= True＆カスタマーサービスコール> 3 =>チャーン= 1、そうでなければチャーン= 0」、85.8％の推測率を予想できます。これは85.5％よりわずかに高いです。 その後、デシジョンツリーについて説明し、入力データのみに基づいてこのようなルールを自動的に見つける方法を見つけます。
• 機械学習なしでこれら2つのベースラインを受け取り、それらは後続のモデルの開始点として機能します。 ものすごい努力で、正解のシェアを全体で0.5％増やすことが判明した場合、おそらく何か間違ったことをしているので、2つの条件の単純なモデルに制限するだけで十分です。
• 複雑なモデルをトレーニングする前に、データを少しねじって、単純な仮定を確認することをお勧めします。 さらに、機械学習のビジネスアプリケーションでは、ほとんどの場合、単純なソリューションから始めて、複雑さを実験します。

5.宿題№1

さらに、コースは英語で行われます（メディアに関する記事もあります）。 次の打ち上げは2018年10月1日です。

ウォームアップ/トレーニングについては、パンダを使用して人口統計データを分析することをお勧めします。 Jupyterの空白に不足しているコードを入力し、 Webフォームで正しい回答を選択する必要があります（そこにも解決策があります）。

6.有用なリソースの概要

• この記事の英語翻訳- 中話
• この記事に基づく講義のビデオ
• まず最初に、もちろん、 パンダの公式ドキュメント 。 特に、 パンダには10分の短い紹介をお勧めします
• 書籍「Learning pandas」+ リポジトリのロシア語訳
• PDFベビーベッドライブラリ
• アレクサンダー・ディアコノフによるプレゼンテーション「パンダとの知り合い」
• 一連の投稿「モダンパンダ」（英語）
• githubには、Pandasのエクササイズと別の便利なリポジトリ（英語）「Effective Pandas」があります
• scipy - lectures.org-パンダ、numpy、matplotlib、scikit-learnの操作に関するチュートリアル
• Pandas From The Ground Up-ビデオfrom PyCon 2015

この記事は、 yorko （Yuri Kashnitsky）と共同執筆しました 。