機械学習は簡単です

この記事では、一般的な機械学習とデータセットとの相互作用に焦点を当てます。 あなたが初心者の場合、どこから勉強を始めればよいのかわからず、「データセット」とは何か、機械学習が必要な理由、最近人気が高まっている理由に興味があります。猫をお願いします。 Python 3は、機械学習を学習するための非常にシンプルなツールであるため、使用します。

この記事の対象者

その場合、新しい事実の検索の歴史を掘り下げたいと思う人、または「機械学習、仕事、これらすべてをどのように行うのか」を少なくとも一度は疑問に思っている人は、ここで彼の質問に対する答えを見つけるでしょう。 ほとんどの場合、経験豊富な読者は、ソフトウェアの部分は初心者が学習するためにいくらか簡略化されているため、自分にとって興味深いものを見つけることはありませんが、一般的に、機械学習の起源とその開発について学ぶことは誰にも害を与えません。

数字で

毎年、企業と愛好家の両方のビッグデータを研究する必要性が高まっています。 YandexやGoogleなどの大企業は、Rプログラミング言語やPythonライブラリなどのデータを調査するためのツールをますます使用しています（この記事では、Python 3向けに作成された例を示します）。 ムーアの法則 （および写真-彼自身）によると 、集積回路上のトランジスタの数は24か月ごとに2倍になります。 これは、毎年コンピューターの生産性が向上するため、以前はアクセスできなかった知識の境界が再び「右にシフト」することを意味します。主に「ビッグデータの科学」の作成に関連するビッグデータを調査する範囲があります。主に前述の機械学習アルゴリズムを使用することで可能になり、半世紀後に初めて検証が可能になりました。 おそらく、数年後には、たとえば流体運動のさまざまな形態を絶対的な精度で説明できるようになるでしょう。

データ分析は簡単ですか？

はい そしてまた興味深い。 人類全体がビッグデータを研究するための特別な重要性に加えて、ビッグデータを独自に研究し、受け取った「回答」（愛好家から愛好家へ）を適用することは比較的簡単です。 今日の分類問題を解決するには、膨大な量のリソースがあります。 それらのほとんどを省略すると、Scikit-learnライブラリー（SKlearn）のツールを使用できます。 最初の学習マシンを作成します。

clf = RandomForestClassifier() clf.fit(X, y) 

そこで、属性によって引数の値を予測（または分類）できる最も単純なマシンを作成しました。

-すべてが非常に単純な場合、たとえば通貨価格など、誰もがまだ予測していないのですか？

これらの言葉を使えば、記事を完成させることは可能ですが、 もちろんこれを行いません （もちろん、後で行います）、タスクセットの予測の正確性を満たすための特定の微妙な違いがあります。 すべてのタスクをこれで簡単に解決できるわけではありません（これについての詳細は、 こちらを参照してください ）

要点をつかむ

-それで、私はすぐにこのビジネスでお金を稼ぐことができませんか？

はい、賞金100,000ドルの問題を解決するにはまだまだ遠いですが、誰もが簡単なものから始めました。

したがって、今日必要なのは：

• Python 3（pip3がインストールされている）
• ジュピター
• SKlearn、NumPy、matplotlib

さらに使用するには、Python構文のいくつかの知識とリーダーの機能が必要です（記事の最後に、「Python 3の基本」を含む有用なリソースへのリンクが提供されます）。

通常どおり、作業に必要なライブラリをインポートします。

 import numpy as np from pandas import read_csv as read 

-さて、Numpyでは、すべてが明確です。 しかし、なぜパンダ、さらにread_csvが必要なのでしょうか？

利用可能なデータを「視覚化」すると便利な場合がありますが、その場合はそれらを操作しやすくなります。 さらに、人気のあるKaggleサービスのほとんどのデータセットは、ユーザーがCSV形式でコンパイルします。


「データセットという言葉を使用したことを覚えています。」 それは何ですか？

データセットはデータのサンプルであり、通常は「記号のセットのセット」→「一部の値」（たとえば、住宅価格、またはいくつかのクラスのセットのシーケンス番号）の形式です。Xは記号のセットで、 yは同じです。値。 たとえば、多くのクラスの正しいインデックスを決定することは分類タスクであり、ターゲット値（価格、オブジェクトまでの距離など）を検索することはランキングタスクです。 機械学習の種類の詳細については、記事および出版物をご覧ください。約束どおり、記事へのリンクは記事の最後にあります。

データを知る

提案されたデータセットはここからダウンロードできます 。 ソースデータへのリンクと特性の説明は、記事の最後にあります。 提示されたパラメーターに従って、このワインまたはそのワインがどのグレードに属しているかを判断するよう求められます。 ここで何が起こっているかを把握できます。

 path = "%  %/wine.csv" data = read(path, delimiter=",") data.head() 

Jupyterノートブックで作業すると、次の答えが得られます。


これは、分析が可能になったことを意味します。 最初の列のグレード値は、ワインがどのグレードに属しているかを示し、残りの列はワインを区別できる記号を示しています。 data.head（）の代わりにデータのみを入力してみてください-データセットの「上部」だけでなく、表示できるようになりました。

分類タスクの簡単な実装

記事の主要部分に目を向けます-分類問題を解決します。 すべて順：

• トレーニングサンプルを作成する
• ランダムに選択されたパラメーターとそれらに対応するクラスで車を訓練しよう
• 実装されたマシンの品質を計算します

実装を見てみましょう（コードの各抜粋は、ノートブックの個別のセルです）。

 X = data.values[::, 1:14] y = data.values[::, 0:1] from sklearn.cross_validation import train_test_split as train X_train, X_test, y_train, y_test = train(X, y, test_size=0.6) from sklearn.ensemble import RandomForestClassifier clf = RandomForestClassifier(n_estimators=100, n_jobs=-1) clf.fit(X_train, y_train) clf.score(X_test, y_test) 

X-符号（1〜13列）、 y-クラス（0番目の列）の配列を作成します。 次に、ソースデータからテストおよびトレーニングサンプルを収集するために、scikit-learnで実装された便利な相互検証関数train_test_splitを使用します。 既製のサンプルをさらに処理します。RandomForestClassifierをアンサンブルからsklearnにインポートします。 このクラスには、マシンのトレーニングとテストに必要なすべてのメソッドと機能が含まれています。 クラスrandomForestClassifierをclf （分類子）変数に割り当ててから、 fit（）関数を呼び出すことにより、clfクラスから車を訓練します。ここで、 X_trainはy_trainカテゴリーの符号です。 これで、クラスに組み込まれたスコアメトリックを使用して、これらのy_testカテゴリの真の値によってX_testに対して予測されたカテゴリの精度を判断できます。 このメトリックを使用すると、0〜1の精度値が表示されます。1<=> 100％完了です！


-精度が良い。 いつもこんな感じ？

分類の問題を解決するための重要な要因は、カテゴリのトレーニングサンプルに最適なパラメーターを選択することです。 より多くの、より良い。 しかし、常にではありません（ただし、これについてはインターネットでも詳しく読むことができますが、おそらく、初心者向けに設計された別の記事を書いています）。

「簡単すぎる。」 もっと肉！

このデータセットの学習成果を視覚化するために、例を挙げることができます：2次元空間に設定するパラメーターを2つだけ残して、訓練されたサンプルのグラフを作成します（このグラフのようなものが得られます、それは訓練に依存します）：

はい、標識の数が減少すると、認識精度も低下します。 グラフはそれほど美しくはありませんでしたが、単純な分析では決定的ではありませんでした。マシンがトレーニングサンプル（ポイント）を選択し、予測値（フィル）の値と比較する方法がはっきりと見えます。


読者に、なぜそれがどのように機能するのかを見つけてもらいます。

最後の言葉

この記事が、Pythonでの単純な機械学習の開発に少し慣れるのに役立つことを願っています。 この知識は、BigData + Machine Learningのさらなる研究のための集中コースを継続するのに十分です。 主なものは、単純なものから徐々に深くすることです。 そして、ここに約束されている有用なリソースと記事があります：

著者がこの記事を作成するきっかけとなった資料

歴史的エッセイ：

• 今日機械学習が必要な理由と、その原因についての記事
• 奇妙なことに、機械学習全般に関するかなり複雑なウィキペディアの記事

機械学習の詳細：

• 機械学習とデータサイエンスについて
• 同じホストからの別の興味深い講演

Pythonを学ぶか、データを扱う前に ：

• ITMOおよびSPbAUの優秀な教師による非常に役立つコース
• Python学習者向けの優れたロシア語のリソースですが、英語のリソースにはあまり向いていません

ただし、sklearnライブラリーを最適に開発するには、英語の知識が役立ちます。 このソースには必要な知識がすべて含まれています（これはAPIリファレンスであるため）。

Pythonでの機械学習の使用に関するより詳細な研究が可能になり、Yandexの教師のおかげで簡単になりました- このコースには、システム全体の仕組みを説明し、機械学習の種類について詳しく説明するために必要なすべてのツールがあります
今日のデータセットのファイルはここから取得され 、わずかに変更されました。

データを取得する場所、または「データセットストレージ」-さまざまなソースから大量のデータが収集されます 。 実際のデータについてトレーニングすることは非常に便利です。

この記事を改善するためのサポートに感謝するとともに、あらゆる種類の建設的な批判に備えます。