Surf Studio：生産における機械学習

Surf Studio（ Certified Google Developer Agency ）からのゲスト投稿の紹介。

こんにちは、Habr。 私の名前はAlexander Olferuk（ @olferuk ）です。Surfで機械学習をしています。 2011年以来、私たちは大企業向けのモバイルアプリケーションを開発してきましたが、現在、TensorFlowでB2B製品をリリースする準備をしています。 私たちの経験について少し話す機会を与えてくれたGoogleの同僚に感謝します。

現代の機械学習には多くの愛好家がいますが、専門家が非常に不足しています。 私たちのチームでは、このような愛好家が戦闘経験のあるスペシャリストに変身するのを見ました。 機械学習に関連する最初の商用製品を開発したチームは、多くのニュアンスに直面しました。 Kaggleで誰もが好む競争は、実際のビジネス上の問題を解決することとはほど遠いことがわかりました。 今、私は経験を共有し、例を示し、私たちが経験したことについて少し話したいです。

挑戦する

このシステムの目的は、3年の販売実績を持つ小売ネットワークの商品の最適なマークアップを予測することです。 もちろん、クライアントのビジネスをより収益性の高いものにすることが目標です。 データは週ごとに集計されます。商品の技術的特性、商品の販売数、商品の在庫数、購入および小売価格、および結果として得られる利益がわかっています。 これは生データであり、より多くの要因が販売に影響します。 インフレと原料価格から始まり、天気で終わる他のすべての兆候は、私たち自身で集めました。 私たちの前には、20,000を超える製品のカタログがありました。 それらのタイプの違いにより、1つだけでなく、すぐに一連のモデルを構築することになりました。 それらはそれぞれ、同じように振る舞う販売の観点から、商品の歴史について訓練します。

機械学習競技では、予測の規模は通常事前に決定されています。 実際のビジネスプロジェクトでは、自分で選択する権利があります。 どちらが良いか：利益、マージン、またはおそらく商品の販売量を予測しようとしていますか？ 効果的に予測できるものに基づいており、それによりクライアントはより多くのお金を稼ぐことができます。


ここのX軸は、週ごとの時間です。 Yは、利益（青い線）と売り上げ（オレンジ色の線）を含む正規化された値です。

別の重要な違いもあります。 現実の世界は、人工モデルほど完璧ではありません。 競技で正確さが唯一の重要な基準である場合、実際のビジネスプロジェクトでは、正確さと常識の微妙なバランスを維持することが重要です。

プロジェクトを開始するには？

まず、適切なメトリックを選択する必要があります。 ソリューションの精度を反映するだけでなく、サブジェクト領域のロジックにも準拠する必要があります。 明らかに、利益を最大化するために製品のマージンを選択するとき、ゼロまたは極端に大きい値を選択する意味はありません。 これは、買い手にとっても店にとっても不利です。 そのため、特定の製品の合理的な価格制限と古い価格に基づいて、信頼区間で解決策を探す必要があります。

相互検証については多くのことが述べられており、 多くの手法が説明されています。 私たちのタスクは、履歴データ、つまり時間の経過とともに変化します。 したがって、サンプルをランダムに分割することは不可能です。過去から学習して、利益レベルの将来の値のみを予測できます。

ただし、すべてのデータが同じように役立つわけではありません。 私が言ったように、モデルを構築するとき、実際の生活を考慮します。 異常なデータは、全体像を歪め、モデルの有効性に大きく影響します。 したがって、2015年後半から2016年初頭の危機の際に収集されたデータは考慮に入れないことにしました。

パイプライン

メトリックと相互検証を選択した後、チームの努力はできるだけ早くエンドツーエンドの構造を実装することに専念する必要があります。

ダイアグラムの構造は一定であり、プロジェクトの開発に伴って変更されるべきではありません。 最初は、データクレンジングを少なくとも欠損値と戦うことを制限する方が適切です。ほとんどの分類子では、データにNaN値が存在しないことが重要です。 機能の変換と新しい機能の追加も延期する必要があります。

その後、たとえば決定的なフォレストなどのベースラインモデルを選択する必要があります。 最初のレポートに使用します。 2つの質問に答えます：「顧客は何を見たいですか？」、「ドメインの専門家にとってどのような結果が明確で役立つでしょうか？」。 これらの質問に対する回答に基づいて、レポートと必要なスケジュールを作成します。 さらなる開発の過程で、このステップに戻って、もう一度答え、答えを保存し、進行状況を分析する価値があります。

実際には、かなり遅れてレポートを生成するシステムを手に入れました。 したがって、モデルの開発においてポジティブなダイナミクスを明確に見ることは非常に困難です。

パイプライン-一連の変換または機能の構成を表す抽象化-は、そのような問題を解決するためのアーキテクチャの役割で証明されています。

初期実装では、このチェーンの各ステージは、 ndarrayクラスのオブジェクトを入力として受け取るトランスフォーマーです（numpyオブジェクトです）。

このソリューションを改善することにしました。 各段階で、新しいPandasデータフレームを取得したかった。 この場合、分類子は最終テーブルからトレーニングに必要なすべてのサインを受け取り、すべての説明マークが手元にあるため、視覚化が簡素化されます。

sklearn-pandasやluigiなどのライブラリを拒否しました。 実際、私たちは自分の自転車を書きました。 これは、私たちが自分専用に作成した小さくて非常に生のヘルパーです。 近い将来、私たちはコームしますが、あなたは今それを使用することができます。 上記の機能を考慮して、透明で容量のあるインターフェイスを作成しようとしました。

パイプラインからのいくつかのサンプルステップを次に示します。

金属価格に加えて、1か月と2か月の遅れのある価格を追加します。

('add_metal', DFFeatureUnion([ ('metal', DFPipeline([ ('load_metal', MetalAppender()), ('metal_lag', Lagger([4, 8])) ])) ])) 

そしてもう一つ：

 ('lags', Lagger(columns_strategies={ 'Z': { 'lags': [1, 2], 'groupby': 'name' }, 'X': { 'lags': [1], 'groupby': 'name' }, 'Y': { 'lags': [1], 'groupby': 'name' }, 'markup': { 'lags': [1], 'groupby': 'name' } })) 

ここでのロジックは、 shiftステートメントを使用して列をPandasボックスの外に移動するよりも少し複雑です。 表全体ではなく、特定の製品に対してのみ各記号がシフトされることを考慮する必要があります。 この問題を解決するために、 Laggerクラスが作成されました。

開発モデル

プロジェクトのさらなる開発は、スパイラル開発モデルに従います。 新しいアイデアがある場合：新しい機能を接続するか、既存の機能を処理する別の方法-チェックしてください。 ビルトインアーキテクチャでは、仮説のテストは次のようになります。

1. データ処理パイプラインを変更し、必要な変更を加えます。
2. 推定器を再訓練し、最適なハイパーパラメーターを選択します。
3. 結果の分類子の新しいスコアを計算します。
4. 結果を視覚化し、レポートを生成し、比較し、結論を導き出します。

3番目の点に関する小さな説明。 メトリックの絶対値ではなく、その変化のみに注意する価値があります。 それだけでなく、サンプルの規模ですべてがランダム偏差の枠組みに収まる場合、この違いを信頼することはできません。

プロジェクトを整理するための良いガイドラインがあります。 たとえば、 これとthisに慣れることができます。

プロジェクトフォルダを開くと、次のようになります。

 project/ ├── data/ <-     ├── cache/ <- pickle-    ├── notebooks/ <-  ├── scripts/ <- *.py-    ├── logs/ <-  ├── out/ <-   ,   : └─ reports/ <- ,    xls- └─ plots/ <- ,      plotly ├── requirements <-     └── README.md 

互いに干渉することなく作業するために、チームメンバー間でタスクを共有する方法 このスキームに到達しました：作業ディレクトリには、Jupyterノートブック、Pythonスクリプト、およびデータ自体のセット（キャッシュ、レポート、グラフ）があります。 それぞれが別々のノートブックで動作します。 ノートブックに十分なコメントを付ける必要があり、その中のすべての計算が再現可能であると言う必要はないと思います。

そのようなノートブックはいくつ必要で、どれくらいの大きさが必要ですか？ 私たちの経験から-実験ごとに別々のノートブック。 例：「予測のための信頼区間の必要性の検証。」 これには、必要なロジックコードと視覚化の両方が含まれます。 繰り返しますが、 他の人が何をアドバイスしているかを見るのは良いことです。

実験が完了し、仮説が検証されるとすぐに、必要なすべての機能がテストされ、Pythonスクリプトに送信されます。 もちろん、実験が報われたなら。

視覚化する

分類器の入力にデータを送信して結果を評価する前に、何を扱っているかを理解する必要があります。 作業に役立ったツールは次のとおりです。

• MissingNoライブラリを使用して、 欠損値を視覚化しました 。
• 特徴の分布の性質を評価するために、ヒストグラムを使用しました：バイオリンプロット（たとえば、シーボーンライブラリによって提供されます）、ボックスプロット。 なぜこれが必要なのですか？

• 分布の性質から、欠損値の処理方法がわかります。面取りされた値の場合は、モードの入力が非常に適切ですが、正規分布の場合は期待値を使用する必要があります。
• 傾斜データdataは、それに応じて処理する必要があります。 たとえば、対数を使用したり、N次の根を見つけたりすると、特性の分布がより正常になります。 これは通常、精度を高めるのに役立ちます。

• 形質の重要性を評価するために 、因子プロットが使用されました。
•相関行列と散布図行列を使用して、文字のペアワイズ相関を評価しました 。 目標は、相関性の高いキャラクターを見つけて、類似するキャラクターを削除することです。 それらは分類器にとって明らかな有意な利点をもたらさず、予測の分散を増加させるだけです。


インフレの影響をテストした方法は次のとおりです。 青色のグラフは、商品の小売価格のレベルの経時的な変化を示しています。 ただし、インフレ（オレンジの点）を差し引くだけで、小売価格が特定のレベルで変動することが明らかになります（2014年1月の価格、つまり0週間ですべてを考慮すると）。 そのため、外部の経済的要因の影響を正しく考慮しました。

Googleでクラウドに移行

そのため、データのロードと処理から最終的な予測の形成まで、必要なすべてを実行するパイプラインを構築しました。 ここで、モデルをより正確にする方法について考える必要があります。

このために次のことができます。

• 最高の兆候を選択してください。
• 新しいものを追加します。
• 最適なモデルハイパーパラメーターを探します。

完成したパイプラインを変更する場合、たとえばMinMaxScalerをStandardScalerに変更する場合は、データを処理し、モデルパラメーターを再度調整する必要があります。 大量のデータがある場合でも、少しでもある場合でも、自宅や職場のコンピューターで多数のグリッド検索サイクルを実行して、最適なハイパーパラメーターを見つけるのは、患者の多くです。 これは非常に長い時間です。 とても。

私たちのソリューションはすぐに成熟しました。GoogleCloudに移行しています 。 ただし、 DataLabを放棄する必要がありました。Pythonバージョン2.7のみがサポートされています。 タスクの一部として、リッチインフラストラクチャは必要なく、非常に強力な仮想マシンが必要でした。JupyterHubを自分で展開できます。

複数のディレクトリがリモートマシン上に作成されました：チームメンバーごとに共有され、別々になっています。 これにより、全員が共通の環境で作業できるだけでなく、必要に応じて、独自のgitフローを別のセクションに整理することもできました。 セキュリティのために、全員がhttpsのみを使用し、ssh証明書も作成しました。

おもしろい：仮想マシンを起動するためのGoogleスクリプトはPython 3.5で書かれており、Python 3.6と友達になりたくありませんでした。 幸いなことに、すべてが解決されました。

ゲームはろうそくの価値がありましたか？ もちろん！ パイプラインのすべてのハイパーパラメーターを並べ替えるのに、簡単に動作するコンピューターが数日かかりました。 Googleクラウドではすべてが高速になっています。 あなたは仕事から家を出ていますか？ 朝に来て、すべてが準備ができています。

結果は何ですか？

クライアントのERPシステム（1C、SAP、Oracleなど）から、オンデマンドで、過去の販売データをダウンロードできます。 予測を生成する必要がある製品グループは個別に示されます。 オープンソースから収集した追加データを追加します。

モデルの最適なパラメーターが検出されてキャッシュされるため、残りはほとんどありません。モデルをトレーニングし、その助けを借りて新しいレポートを生成します。 クライアントのレポートは、利用可能なデータと予測に関する集計統計を収集します。会社ごと、製品カテゴリごと、個々の製品ごとです。

クライアントは、受け取った予測に基づいて価格設定ポリシーを調整できます。

ハードコアA / Bテスト

スマートカーがスイカの写真を認識して面白い詩を書くことができるだけではないことをビジネスに示すには、結果が必要です。 業界では広く知られている結果はありませんが、誰もがそのようなソリューションを見ることに非常に不安を感じるでしょう。

私たちはクライアントにとても幸運でした。 彼らは彼らのために新しい技術を信じており、重要なチャンスを与えてくれました-ハードコアなA / Bテストを実施するために。 私たちのコードは、地域全体のネットワーク内のすべての商品の価格に関する推奨事項の形成を委ねられました。 合計データは、旧式の方法で価格が形成される地域のデータに匹敵します。 すべてがうまくいけば、世界をわずかに変え、業界と機械学習のビジネスへの浸透にわずかな貢献をしたことを誇りに思います。 私たちのためにあなたの指をクロスしますか？

最後に

多くの場合、シンプルなソリューションが最適であり、最適なコードはクリーンであることを忘れないでください。
1日2回歯を磨きます。
McConellを読み直してください。
CrossFitとスポーツベッティングは時間の価値がありません。
家族ともっと時間を過ごしましょう。
幸運、幸福、健康！