Kaggle。 気象条件に応じた売上予測

先週金曜日に、パロアルトの会社でデータサイエンティストの立場についてインタビューを行いました。この長時間のマラソンは、技術的でそれほど深刻ではない質問から、私がデータ分析に携わっているプロジェクトについてのプレゼンテーションから始めることになっています。 所要時間-20〜30分。

データサイエンスは多くのものを含む広大な領域です。 そのため、一方では多くの選択肢がありますが、一方では、一般の人々に正しく受け入れられるプロジェクトを選択する必要がありました。つまり、聴衆がタスクを理解し、ソリューションのロジックを理解し、同時にアプローチの方法を染み込ませることができました私が使用したことは、彼らが仕事で毎日していることと関係があるかもしれません。

数ヶ月前、私の友人であるインド人が同じ会社に入ろうとしていました。 彼は彼らに、彼が大学院で働いていた仕事の一つについて話した。 そして、一見、見栄えが良かった：一方では、これは彼が過去数年間大学で行ってきたことによるものです。つまり、彼は詳細とニュアンスを深いレベルで説明することができ、一方で、彼の作品の結果は査読付きで出版されました雑誌、つまり、世界の貯金箱への貢献です。 しかし実際には、まったく異なる方法で機能しました。 まず、あなたが何をしたいのか、そしてその理由を説明するには、あなたは多くの時間を必要とし、彼はすべてをするために20分を持っています。 次に、いくつかのパラメーターを持つグラフがクラスターに分割され、物理学の相転移のように見えるという彼の話から、「なぜこれが必要なのですか？」 私は同じ結果が欲しくなかったので、「フェルミオンハバードモデルの量子モンテカルロシミュレーションの符号問題の影響を受ける領域を洞察する方法としての非線形回帰」については話しませんでした。

私が参加したkaggle.comのコンテストの1つについて話すことにしました。

選択は、日付とこれらの同じ気象条件に依存する気象条件に敏感な商品の販売を予測する必要があるタスクに落ちました。 コンテストは2015年4月1日から5月25日まで開催されました。 勝者が大金を稼ぎ、コードやより重要なアイデアを共有できる通常のコンテストとは異なり、このコンテストの賞品は簡単でした。求人担当者は履歴書を確認します。 また、採用担当者がモデルを評価したいため、コードとアイデアの共有は禁止されています。

チャレンジ：

• 世界地図上の20の異なる場所にある45のハイパーマーケット（地理座標は不明です）
• 傘や牛乳など、売上が理論的には天候に依存する111個の商品（商品は匿名です。つまり、特定の日に販売された雨靴の数を予測しようとはしていません。たとえば、インデックス31で販売された商品の数を予測しようとしています）
• 2012年1月1日から2014年9月30日までのデータ

この競争のデータの説明ページから引用した、あまり明確ではないこの図は、次のことを示しています。

• 右側に数字のある列-気象観測所。
• 各気象観測所には2つの列があります。下-すべての日付、上-非標準的な気象条件の日付：嵐、強風、大雨またはhなど。
• 青い点-天気と売り上げの両方がわかっている列車セット。 赤-テストセット。 気象条件は知られていますが、販売はありません。

データは4つのcsvファイルに表示されます。

• train.csv-列車セットから毎日45店舗のそれぞれで111個の商品の販売
• test.csv-111の製品のそれぞれについて、45店舗のそれぞれの売上を予測する日付
• key.csv-どの店舗の隣にある気象ステーション
• weather.csv-20の気象ステーションのそれぞれについて、2012年1月1日から2012年9月30日までの期間の各日の気象条件

気象観測所は、次のデータを提供します（括弧内は、欠損値の割合です）。

• 最高気温[華氏]（4.4％）
• 最低気温[華氏]（4.4％）
• 平均気温[華氏]（7.4％）
• 予想温度からの偏差[華氏]（56.1％）
• 露点[華氏]（3.2％）
• 濡れた温度計の温度[華氏温度]（6.1％）
• 日の出時間（47％）
• 日没時間（47％）
• タイプ雨、霧、竜巻の概要説明（53.8％）
• 雪の形での降水量[インチ]（35.2％）
• 降雨量[インチ]（4.1％）
• ステーション大気圧[水銀柱インチ]（4.5％）
• 海面の気圧[水銀柱インチ]（8.4％）
• 風速[mph]（2.8％）
• 風向[度]（2.8％）
• 平均風速[マイル/時]（4.2％）

明らかなデータの問題：

• 店舗の地理座標はわかりません。 そしてこれは悪いです。 雨または日光は重要ですが、アラスカとサンフランシスコは異なる販売動向を示す可能性があります。
• 製品名は匿名化されています。 ID = 35の製品が牛乳、ウィスキー、または綿のズボンであるかどうかはわかりません。
• コンテストの主催者は、前の段落を悪化させることを決定し、ある店舗でID = 35が別の店舗と同じになるという保証はないことを白で英語で書きました。
• 気象観測所はすべてを測定するわけではなく、常に測定するわけでもありません。 気象データは非常に漏れやすいです。 そして、これらのギャップをどのように埋めるかという問題は、何らかの形で対処する必要があるでしょう。

私にとって、私が取り組んでいる機械学習のタスクの主なものは「質問」です。 答えを見つけるために質問を理解する必要があるという意味で。 これはトートロジーのように思えますが、科学活動とカグラのようなサードパーティのプロジェクトの両方で例があります。人々が尋ねられた質問ではなく、彼らが発明したものに答えを見つけようとしたとき。

2番目に重要なのはメトリックです。 「私のモデルはあなたのモデルよりも正確です」という音の仕方が好きではありません。 意味が似ているように聞こえる方がはるかに良いように聞こえますが、わずかに正確です。

販売される商品の数、つまりこの回帰タスクを予測する必要があります。 標準偏差の標準回帰メトリックを使用できますが、非論理的です。 問題は、販売されるラバーブーツの数を予測しようとするアルゴリズムが負の値を予測できることです。 そして、問題は、これらの負の値をどうするかです。 ゼロアウト？ 絶対値を取る？ 退屈です。 あなたはもっとうまくやれる。 予測値の単調な変換を行って、変換された値が負の値を含む任意の実数値を取ることができるようにします。 それらを予測し、非負の実数の区間に逆変換を実行します。

エラー関数が次のように定義されていると考えることができます。


どこで：

• a-実際の値
• pは予測です
• 1だけシフトされた引数の自然対数は、負でない実軸から軸全体への単調なマッピングであり、明らかに逆変換されます。

しかし、より重要なことは、この競争では、予測の精度がこのメトリックによって正確に評価されることです。 そして、私はそれを正確に使用します。オーガナイザーが望むものを、彼らに渡します。

ゼロ反復またはベースモデル。

さまざまなタスクを処理するとき、このアプローチはうまくいきました。タスクの処理を開始するとすぐに、テストセットの予測を行う「不器用な」スクリプトを作成します。 不器用なのは、データを見ずに、反射せずに鈍い方法で作成されるためです。 そして、ディストリビューションを構築しません。 アイデアは、提供できるモデルの精度の下限が必要だということです。 このような「不器用な」スクリプトができたらすぐに、いくつかの新しいアイデアを確認し、新しい兆候を作成し、モデルパラメーターを調整できます。 私は通常、2つの方法で精度を評価します。

• テストセットの予測評価の結果。kaggleのパブリックリーダーボードが表示されます。
• トレインセットが大きく均一である場合はセットを保持します。トレインセットが小さいか不均一な場合は5倍交差検証

最初の方法は、時間がかからないので良いです。 予測を行い、サイトに送信-結果を得た。 悪いことは、1日あたりの試行回数が制限されていることです。 この競争では、これは5です。彼は、モデルの相対的な正確さを示すのも得意です。 エラー0.1-それはたくさんですか、それとも少しですか？ パブリックリーダーボードの多くの予測が少ない場合、それは多くのことです。

2番目は、さまざまなモデルを何度でも評価できるという点で優れています。

問題は、同じメトリックを使用して評価されたモデルが、次の2つのアプローチで異なる精度を提供できることです。
矛盾は次の原因で発生する可能性があります。

• 列車と試験のデータは異なる分布から収集されます
• 非常に小さな列車またはテスト
• トリッキーなメトリックは人間の相互検証を許可しません

実際には、相互検証のモデルの精度の改善が、パブリックリーダーボードの結果の改善に対応すれば十分であり、正確な数値コンプライアンスは必要ありません。

だからここ。 まず、次のスクリプトを作成しました。

• 夜明け/日没の時間を、時間と分から深夜からの分数まで蒸留します。
• ダミー変数での気象条件の要約。
• すべての欠損値-1の代わりに
• 対応するtrain.csv / test.csv、key.csvおよびweather.csvを接続します
• 結果のトレインセット-4,617,600オブジェクト。
• 結果のテストセット-526,917オブジェクト。

次に、このデータを何らかのアルゴリズムにフィードして、予測を行う必要があります。 さまざまな回帰アルゴリズムが海にあり、それぞれに長所と短所があります。つまり、選択できるものがたくさんあります。 この場合の基本モデルの選択は、 Random Forest Regressorです。 この選択のロジックは次のとおりです。

• ランダムフォレストには、ディシジョンツリーアルゴリズムのすべての利点があります。 たとえば、理論的には、彼は数値変数かカテゴリ変数かに無関心です。
• それは十分にスマートに動作します。 メモリが適切に機能する場合、複雑さはO（n log（n））です。nはオブジェクトの数です。 これは、線形の複雑さを持つ確率的勾配降下法よりも劣りますが、O（n ^ 3）の非線形コアを持つサポートベクトル法よりも優れています。
• モデルの解釈に重要な属性の重要性を評価します。
• データの多重共線性と相関関係に無関係。

予測=> 0.49506

繰り返し1。

通常、すべてのオンラインクラスでは、何が起こっているのかを理解しようとするために、どのグラフィックを構築するかについて多くの議論があります。 そして、この考えは正しいです。 しかし！ この場合、問題があります。 45店舗、111製品、および異なる店舗の同じIDが同じ製品に対応するという保証はありません。 つまり、調査し、45 * 111 = 4995の異なるペア（ストア、製品）を予測する必要があることがわかります。 ペアごとに、気象条件は異なる働きをします。 正しい、単純ではあるが明白ではないアイデアは、各ペア（ストア、製品）のヒートマップを作成し、その上に製品の全体の販売数を表示することです。

• 垂直-製品インデックス。
• 水平-インテックスを保存します。
• ドットの明るさはLog（常に販売された商品の数）です。

そして、私たちは何を見ますか？ 写真はかなり薄いです。 つまり、一部の店舗の一部の商品が原則として販売されなかった可能性があります。 これを店舗の地理的位置に関連付けます。 （ハワイで綿毛の寝袋を買うのは誰ですか？）。 そして、私たちの列車から除外して、この店で販売されたことがない製品をテストしましょう。

• 4617600からの列車は236038に減ります
• 526917からのテストは26168に削減されます

つまり、データサイズがほぼ20倍減少しました。 結果として：

• データからノイズの一部を削除しました。 その結果、アルゴリズムのトレーニングと予測が容易になります。つまり、モデルの精度が向上します。
• モデルのトレーニングははるかに高速です。つまり、新しいアイデアのテストがはるかに簡単になりました。
• ここで、削減されたトレイン（236038オブジェクト）でトレーニングし、削減されたテスト（26168オブジェクト）で予測しますが、カグルはサイズ（526917オブジェクト）の予測を必要とするため、残りをゼロでバランスさせます。 ロジックは、このストアで販売されていない製品がある場合、販売されないか販売されるかのいずれかですが、いずれにしてもこれを予測することはできません。

予測-> 0.14240 エラーは3倍減少しました。

繰り返し2。

トリミングトレイン/テストサイズは非常に効果的でした。 悪化させることは可能ですか？ あなたができることがわかりました。 前の反復の後、255個の非ゼロペア（ストア、製品）のみを取得しましたが、これは既に表示されています。 各ペアのチャートを見ると、一部の製品は悪天候/悪天候のためではなく、単に入手できないために販売されていないことが判明しました。 たとえば、ストア12の製品93の写真を次に示します。



これがどのような製品なのかはわかりませんが、2012年末に販売が終了した疑いがあります。 予測から、これらの製品を電車から削除して、テスト中のすべての製品に0を設定してみてください。

• 列車は191,000オブジェクトに削減されます
• テストは21272個のオブジェクトに削減されます

予測-> 0.12918

繰り返し3。

競争の名前には、気象データに基づく予測が含まれますが、いつものように、彼らはunningです。 私たちが解決しようとしている問題は異なる音です：
「電車があり、テストがあり、好きなようにスピンしますが、このメトリックで最も正確な予測を行います。」

違いは何ですか？ 違いは、気象データだけでなく日付も持っていることです。 また、日付は非常に強力な機能のソースです。

• 3年間のデータ=>年間頻度=>新しい兆候の年と新しい年からの日数
• 人々は月に一度支払われます。 毎月の購入頻度がある可能性があります。 =>新しい月の記号
• 人々が買い物をする方法は、曜日に関係します。 もちろん雨はありますが、金曜日の夕方は金曜日の夕方です=>新しい兆候は曜日です。

予測-> 0.10649 （ところで、私たちはすでに上位25％にいます）

天気はどうですか？
天気はあまり重要ではないことがわかりました。 私は正直に彼女に重みを付けようとしました。 さまざまなトリッキーなサブグループの属性の平均値など、さまざまな方法で欠損値を埋めようとし、さまざまな機械学習アルゴリズムを使用して欠損値を予測しようとしました。 少し助けましたが、エラーのレベルで。

次のステップは線形回帰です。
アルゴリズムの見かけの単純さ、およびこのアルゴリズムには多数の問題がありますが、私のお気に入りの回帰アルゴリズムの1つとなる大きな利点があります。

• 曜日、月、年、店舗番号、製品インデックスなどのカテゴリー記号は、ダミー変数に蒸留されます
• 結果の収束と解釈の速度を高めるためのスケーリング。
• 正則化パラメーターL1とL2をねじります。

予測-> 0.12770
これはランダムフォレストよりも悪いですが、それほどではありません。

問題は、なぜ非線形データで線形回帰が必要なのですか？ 理由があります。 そして、この理由は症状の重要性の評価です。

この評価には3つの異なるアプローチを使用します。
1つ目は、RandomForestをトレーニング後に生成するものです。

この写真には何が見えますか？ 販売された商品の種類と店舗番号が重要です。 そして、残りはずっと重要ではありません。 しかし、データを見なくてもこれを言えます。 製品タイプと店舗番号を削除しましょう。

そして、何がありますか？ 年-これはおそらく論理的ですが、私には明らかではありません。 ちなみに、プレッシャーは私には理解できましたが、私がそれを放送した人々にとっては、それほどではありませんでした。 それでも、サンクトペテルブルクでは、天気が頻繁に変化し、それに伴って気圧が変化します。これが、特に高齢者の気分と幸福をどのように変化させるかを認識していました。 気候が安定しているカリフォルニアに住む人々にとって、これは明らかではありませんでした。 次は？ 年の初めからの日数も論理的です。 売上を予測しようとしている季節を遮断します。 そして、天気は誰が言っても、季節と関係があるかもしれません。 それから曜日も明確です。 等

2番目の方法は、係数の絶対値であり、スケーリングされたデータの線形回帰を提供します。 係数が大きいほど、影響が大きくなります。



写真はこのように見え、ここではほとんどはっきりしません。 あまりにも多くの記号がある理由は、たとえば、RandomForestの製品タイプが1つの記号であり、ここには既に111があり、店舗番号、月、曜日と同じであるためです。 製品タイプと店舗番号を削除しましょう。


良いです ここで何が起こっていますか？ 特に12月、1月、または11月の場合、月は重要です。 それも論理的なようです。 冬 天気。 そして、重要なことは、休日です。 これが新年、感謝祭、そしてクリスマスです。

3番目の方法はブルートフォース方法で、一度に1つずつサインを放り出し、これが予測の精度にどのように影響するかを観察します。 最も信頼できますが、最も退屈です。

兆候の発見とその解釈により、それらは終了し、現在は数値的方法であるように見えます。 ここではすべてが簡単です。 さまざまなアルゴリズムを試して、手動またはGridSearchを使用して最適なパラメーターを見つけます。 組み合わせます。 予測します。

• 線形回帰（ 0.12770 ）
• ランダムフォレスト（ 0.10649 ）
• 勾配ブースティング（ 0.09736 ）

私は特に発明しませんでした。 彼はこれらの予測の加重平均を取りました。 彼は、ホールドアウトセットでこれらのアルゴリズムを予測することで重みを計算しました。
0.85％の勾配ブースト、10％のランダムフォレスト、5％の線形回帰などが判明しました。

結果0.09532 （15位、上位3％）


このグラフで最もよく知られている結果は、Private LeaderBoardの最初の場所です。

動作しなかったもの：

• kNNは単純なアルゴリズムですが、多くの場合、アンサンブルの一部として機能します。 絞ることができませんでした（0.3）
• ニューラルネットワーク-適切なアプローチで、このような混合データでも適切な結果を示します。重要なことは、彼らがアンサンブルで優れていることを示していることです。 それから私は私の手の鈍さを持っていなかった;どこかで、どこかで、私は余りに賢かった。
• 各気象観測所、製品、店舗ごとに別々のモデルを構築しようとしましたが、データが非常に小さくなるため、予測の精度が低下します。
• 時系列を分析し、傾向と周期的なコンポーネントを強調する試みが行われましたが、予測のこの精度も向上しませんでした。

合計：

• unningなアルゴリズムは重要であり、すぐにすぐに非常に正確な結果を生成するアルゴリズムがあります。 （たとえば、私は28層の畳み込みニューラルネットワークに満足しており、それ自体が生き残った特徴を画像から分離しています。 ）
• データの準備と適切な属性の作成は、多くの場合（常にではありませんが）複雑なモデルよりもはるかに重要です。
• 多くの場合、素晴らしいアイデアは機能しません。
• 時には完全に愚かで絶望的なアイデアがうまく機能します。
• 人々は、快適なゾーンにいて、気象条件によって引き起こされる瞬間的な衝動ではなく、カレンダーに基づいた、実績のあるスケジュールに従うことを好む生き物です。
• このデータをできる限り絞り込もうとしましたが、商品の価格、商品名、店舗の地理的位置がわかっていれば、解決方法は異なります。
• 予測を行う日の前後に天気を追加しようとしませんでした。 また、私は休日を記述するための別個の属性を作成しようとしませんでした。 これが役立つ可能性があります。
• 私は、論文を追加し、別の反復を開始することから時々調べて、すべてに関するすべてに1週間を費やしました。 おそらく、1週間以内にこれを行わなかったので、もっと時間を費やせば、予測の精度が向上する可能性があります。 kaggle.comには多くの興味深い競争があり、1つのことにこだわるのは知識を得る効果の点であまり適切ではありません。
• kaggle.comで競争しようとしたことがない人にはお勧めです 。 それは興味深く、有益です。

更新：
過剰適合に関する非常に正確な質問がコメントで尋ねられ、私はkaggle.comでモデルの精度がどのように評価されるかを説明するテキストを追加することにしました。

多くの場合、インタビューの際に、機械学習の経験がどこで得られたかを尋ねられます。 以前は、オンラインクラスの理論的な準備、読書、科学記事、フォーラム関連のトピックについて回答しました。 凝縮物質物理学で機械学習を使用する実際的な試みと咳での競技への参加の経験。 さらに、実際には、知識の観点から、カグルは私にもっと多くを与えてくれました。 少なくとも20を超えるさまざまなタスクを扱っており、それぞれに独自のニュアンスとトラブルがあります。 例：

• Otto Group Product Classification Challenge-データは、誰も実際に兆候の作成に成功しなかったような方法で作成されました。 この競争の重点は数値的方法にありました。 アルゴリズム、モデルパラメーター、アンサンブル。 このコンペティションでは、アルゴリズムを見つけました：Gradient Boosting、Neural Networksに出会い、簡単なアンサンブルの作り方を学びました。 彼は積極的にscikit-learn、graphlab、xgboostを使用し始めました。
• 検索結果の関連性 -ここでは、関連するすべての理論的および実用的な問題を伴う自然言語処理。 SVM、bag of words、word2vec、glove、nltkを使用した理論的基礎と実際的な経験。
• Avito Context Ad Clicks-スケーラビリティの問題がありました。 兆候のある3億個のオブジェクト。 そして、Apache Sparkに行き、ロジスティック回帰のすべての能力と欠点を示しました。 （残念ながら、私の手はFFMに届きませんでした）
• 糖尿病性網膜症の検出 -画像処理、画像からの標識の抽出、ニューラルネットワーク、GPUを使用する利点と欠点。 TheanoおよびImageMagicの使用経験。

など、別の15の異なる問題。 異なる知識と経験を持つ何千人もの人々がこれらのタスクに同時に取り組み、アイデアとコードを共有することは非常に重要です。 知識の海。 私の意見では、これは非常に効果的なトレーニングです。特に、対応する理論を同時に知っている場合はなおさらです。 各コンペティションでは、実際に何かを教えます。 たとえば、キャンパスでは、PCAについて多くの人が聞いており、これはほとんど盲目的に使用して標識の数を減らすことができる魔法の杖であると多くの人が信じています。 しかし実際には、PCAは正しく使用すれば非常に強力な手法です。 そして間違っていれば、脚を非常に強力に撃ちます。 しかし、さまざまな種類のデータで試してみるまでは、実際に感じることはありません。

そして、私は無実で、カグルについて聞いた人はそれをそのように知覚すると仮定しました。 いいえということが判明しました。 友人のデータサイエンティストとコミュニケーションを取り、さまざまな咳での私の経験について少し話し合うと、人々はこれらの競技でモデルの正確性がどのように評価されているか知らず、ケーラーに関する一般的な意見は過剰であり、この経験は競争への参加は肯定的よりも否定的です。

それで、私はそれがどのようなもので、何を説明しようとします：

希望者に提供されるタスクのほとんど（すべてではない）は、教師とのトレーニングです。 つまり、トレインセットがあり、テストセットがあります。 また、テストで予測を行う必要があります。 モデルの精度は、テストをどの程度正確に予測したかによって評価されます。 そして、それは悪いように聞こえます。 経験豊富なデータサイエンティストがすぐに問題を見るという意味で。 テストで多数の予測を行い、積極的にオーバーフィットします。 そして、テストで正確に機能するそのモデルは、うんざりするほど新しいデータで機能します。 そして、これはまさにKaglについて聞いたが、試したことがない人のほとんどがこのプロセスについてどのように考えているかです。 しかし！ 実際、これはそうではありません。

テストセットは、パブリックとプライベートの2つの部分に分かれています。 通常、パブリックで30％、プライベートで70％の割合です。 テストセット全体で予測を行いますが、競争が終わるまで、予測の精度はパブリックでのみ確認できます。 そして、競争の終了後、Privateの精度が利用可能になり、このPrivateがモデルの最終的な精度になります。

このテキストで説明した競争の例。

コンテストは5月25日に終了します。 =>太平洋標準時の午後5時まで、30％のテストセットの予測エラー、つまり公開部分が利用可能です。 私の場合、それは0.09486で、パブリックリーダーボードでは10位でした。 夕方の5時に、PSTの競争は終了します。 そして、残りの70％（プライベート）の予測が利用可能になります。
0.09532で15位です。 つまり、私は少しオーバーフィットします。

Privateでのモデルの合計精度は、選択した2つの予測によって推定されます。 原則として、そのうちの1つを選択します-パブリックリーダーボードで最小のエラーを与えるものと、列車セットで計算されたクロス検証で最小のエラーを与えるものです。

通常、私はこのモードで作業します。ローカル相互検証のエラーが減少した場合=>予測をカグルに送信します。 つまり、強いオーバーフィットは発生しません。 モデルパラメーターは、相互検証での誤差の大きさに基づいて選択されます。 たとえば、線形回帰、ランダムフォレスト、勾配ブースティングの平均化に使用した重みは、テストセットも使用しなかったため、列車から離れてモデルのトレーニングに使用しなかったデータによって決定されました。

オーウェンが正しく指摘したように、彼のプレゼンテーションの 1つで、モデルの正確さの正確な評価は、モデルの複雑さよりもはるかに重要です。 したがって、上記の単純なスクリプト（ゼロ反復）を作成するときは、データ分析とモデルの精度ではなく、トレインセットのクロス検証エラーがパブリックリーダーボードのエラーに対応するという事実に焦点を当てます。

それは常に単純ではありませんが、しばしば単に不可能です。

例：

• Facebook Recruiting IV：人間かロボットか？-ここでは一緒に何かが成長しませんでした。さらに、フォーラムの人々は、それを人間的に行う方法について議論しました。つまり、私だけではありません。私は論文のトピックについてレビュアーと戦ったばかりなので、ここでは公開リーダーボードをいっぱいにしましたが、きちんとしています。プライベートの私の場所は、パブリックよりも91位高いです。おそらく他の人がより積極的に過剰摂取したためです。しかし、一般に、これはパブリックとプライベートがわずかに異なるディストリビューションからのものである場合の競争の例です。
• Restaurant Revenue Prediction — . train set — 137 , outliers. test set — 10000. train, Public Leaderboard . , Private Public. , , , .
• ECML/PKDD 15: Taxi Trajectory Prediction (I) ECML/PKDD 15: Taxi Trip Time Prediction (II) — , -, , , , cross validation. train/test . train test.
• ICDM 2015: Drawbridge Cross-Device Connections — semi-supervised learning . , . . 12 . : « ». - .

道徳-私はkaggle.com上映に参加する人々は異なる聴衆であることを明確にしようとしました。最初は、大多数がパブリックリーダーボードの結果に基づいてパラメーターを調整し、その後、プライベートでの最終順位が予想よりはるかに低いときに、「世界は残酷で、誰もが責任を負います」とフォーラムにhowきます。しかし、原則として、最初のそのようなパンクの後、チャクラは開き、聴衆はKFoldが必要な場所、StarifiedKFoldがどこにあるか、セットを保持するのに十分な場所、取る必要のある折り目、結果を解釈する方法を理解して、モデルの精度を非常に慎重に評価する問題に近づき、一般的に、レーキが存在する場所、踏むことが可能で、価値がない場合。