2番目の名誉。 Dstl衛星画像機能検出コンテストノート

最近、 Dstl Satellite Imagery Feature Detection機械学習コンテストが終了し、3人ものAvito従業員が参加しました。 私に代わって参加の経験を共有し、解決策について話したいです。

タスクの説明

タスクは、衛星画像のオブジェクトをセグメント化するアルゴリズムを開発することでした。



異なる波長範囲で撮影されたマルチスペクトル画像が提供されます。 また、写真の解像度も異なります。また、撮影の性質上、一部のチャンネルは互いにわずかにずれています。

10クラスのオブジェクトを予測する必要があります。

クラス1：建物（ただの建物、目立ったものは何もありません）
クラス2：構造（最大のショットでも数ピクセル幅のフェンス）
クラス3：道路（アスファルト道路および高速道路）
クラス4：未舗装道路
クラス5：木（単独でもグループでも成長可能）
クラス6：フィールド（フィールド上で何かを成長させるという点で異なる）
クラス7：高速水（川、海の破片、大きな水域）
クラス8：スローウォーター（湖、乾燥川）
クラス9：大型車両（トラック、バス）
クラス10：小型車両（車とバイク）。

メトリック-平均Jaccardインデックス。これは、すべてのクラスで平均された、交差の面積とユニオンの面積の比率として定義されます。 この場合、インターセクションとユニオンはクラスマスクです。 さらに、各クラスは全体的なメトリックに対して同じ貢献をしましたが、各クラスの面積は非常に異なっていました。 ヒストグラムは、面積全体に対する各クラスの面積の割合を示します。 クラス6（フィールド）の面積割合は0.6で、最後の2つのクラスの面積は0.0001です。



それとは別に、データの量に注目する価値があります。 25のマークされた領域が与えられました。 テスト中に425がありましたが、そのうちパブリックリーダーボードは19％で構築され、残りの81％でプライベートリーダーボードが構築されました。 いつものように、一般市民は基本的に彼らの決定をテストし、結果を他の参加者と比較する役目を果たしました。 そして、最終評価はプライベートな部分でのみ行われました。 ただし、パブリックショットが81であるため、このチェックは25ショットのローカル検証よりもはるかに信頼性が高く、ローカルチェックのメトリックとリーダーボードの間に不一致がある場合、リーダーボードを信頼することは明らかでした。 私はどのように間違っていました...しかし、最後にそれについての詳細。

叙情的な余談

コンペティションにはかなりの数の参加者がいましたが、その理由は理解できます。なぜなら、長い間、私自身は参加することを決められなかったからです。 最初に、組織は画像の形式ではなくcsvファイル内のポリゴンの形式でマスクを提供し、自分で希望のサイズに変換する必要がありました。 第二に、毎回425枚のテスト画像を予測するのは長い時間です。 第三に、アルゴリズムが通常出力するので、ピクセルの形のマスクではなくオーガナイザーを送信する必要がありましたが、トレーニングサンプルと同じポリゴンのcsvファイルです。 そして、各段階は最終的な測定基準に影響を与えます。そして、それは競争であるため、各手順をなめる必要があります。 しかし、私はまだ3つの理由で決断しました。

• 仕事仲間のDmitry Tsybulevskyはすでに参加しており、競争は興味深いと述べています。これにより、多くのトリックを試して、ニューラルネットワークのアーキテクチャを試すことができます（まあ、マスクを変換する問題を解決することは、難読化された機能でxgboostを教えるよりも興味深いです）;
  
  
• また、 ODS Slackの Vladimir Iglovikovは積極的に参加するために運動し、メトリックの小数点以下4位ではなく、意味のある何かのために闘争があると主張しました（彼がいかに間違っていたか...）。
  
  
• 最後に、 Konstantin Lopukhinが、マスクをポリゴンに変換する際の最後の問題を解決するスクリプトを投稿したときに、最終的に決定しました。
  

ベースライン

最先端のセグメンテーションソリューションを使用してリポジトリのクローンを作成する前に、継続的に改善できるシンプルなソリューションを作成することにしました。 私の意見では、これはほとんどすべての競争だけでなく、一般的な機械学習タスクにとっても良い習慣です。

したがって、フォーラムに投稿されたスクリプトを選択し、それらから次のパイプラインをコンパイルしました。

前処理とデータ準備

Mバンドからすべての画像を取得し、便宜上同じサイズに拡大して（レイズは1％未満）、それらから大きな5x5モザイクを組み立てました。 彼はマスクで同じことをしました。 次に、画像とマスクで同じランダムな場所から、ネットワークの入出力のクロップサイズ（128 x 128ピクセル）を切り取り、トレーニング用のキューを形成します。 ただし、すべてのサンプルが採取されたわけではなく、総面積のクラスマスク面積の割合がしきい値を超えたサンプルのみが採取されました。 サンプリングがほぼ均等に行われるように、各クラスのしきい値を手で選択しました。 その後、各キューの画像は範囲（-1、1）に縮小されました。 また、検証のために、すべてのクラスを含む画像から小さなストリップを切り取り、列車内の次の画像のコピーに置き換えました。

ニューラルネットワークトレーニング

ニューラルネットワークとして、 U-netを選択しました。 このニューラルネットワークの構造は、従来のエンコーダーデコーダーと似ていますが、適切なサイズの段階でエンコーダー部分からデコーダーに機能が転送されます。



U-netは、神経のセグメンテーションとの闘いに関する別のコンテストでよく現れました。 さらに、Kerasのコードを見つけました。 ターゲットメトリックの近似値を損失関数として使用しました。 学習率を低下させるための基準が明確でない場合、原則としてタスクで良好な結果を得たため、オプティマイザーはAdamが採用しました。

予測

マスクを予測するために、通常のスライディングウィンドウを使用しました。 つまり テストの各画像はパッチに切り分けられ、予測されてから回収されます。 構築により、ニューラルネットワークは各クラスが特定のピクセルにある確率を与えます。 したがって、バイナリマスクを取得するには、しきい値を選択する必要があります。これは、ローカル検証の最大メトリックに基づいて行いました。 マスクを予測してから、Bonesスクリプトを使用して、提出物を得ました。

その結果、カグルはそれを受け入れさえしました。 これが成功であると決心し、コードをカーネルの形式にフォーマットしました。 当時、最初から最後まで完全なパイプラインを設計した人はいなかったため、スクリプトは非常に好意的に受け取られました。 それから数日間、新しい人がリーダーボードに私のスピードで現れるのを見ました。 さて、カーネルはこの競争で最も多くの票とコメントを得ました。



しかし、私の喜びは短命でした。 私は客観的に低速で、その理由を理解できませんでした。 彼女はRasim Akhunzyanovによって発見されました。 何らかの理由で、すべての画像を範囲（0、1）に移動した後、フロートをintに変換しました。 この事実は、スクリプトへのコメントに記載されており、その瞬間から、誰でもスクリプトの作業バージョンを入手できました。

ただし、コードのバグは修正しませんでした。 まず、少なくともコメントを読み、コードをよりよく理解し、4ページのキャンバスを思いやりなく起動しないことは有益です。 第二に、バグがあっても、コードはその機能を完全に実行しました。つまり、新しい参加者を引き付けることです。 第三に、バグがあっても、継続的に改善できる単純なソリューションの概念に適合します。

スクリプトの成功した使用例は、 ミーシャ・カメンシチコフの結果です。 Avitoで、彼は推奨事項に取り組んでおり、私は彼をDLに夢中にさせ、彼にこの競争を売り込むことにしました。 ミーシャはバグを修正し、週末にマイナーな修正を加えてモデルを訓練し、水に別の公開スクリプトを使用しました。 これにより、彼は46位でフィニッシュし、最初の銀メダルを獲得できました。

私の決断

一般的に言って、私の決定はキャンペーン全体の観点からベースラインとそれほど違いはありませんでしたが、多くの重要な改善を行いました。

1. Conv + ReLu→Conv + BN + ReLu。
   バニラU-netでは、正規化レイヤーは使用されませんでした。 追加しました。 そして、ほとんどすべての参加者もそうでした。 すべてについて、彼は収束を改善しました。
   
2. 増強：任意の角度での回転、垂直および水平反転。 明らかなことですが、これなしでは、画像ニューラルネットワークのトレーニングは完了しました。
   
3. ハードネガティブマイニング。
   

ここでは、さらに詳しく説明する価値があります。 クラスマスクの一部がしきい値を超えるパッチのサンプリングを拒否し、すべてのサンプルを取得することにしました。 しかし、一連のサンプルでニューラルネットワークをトレーニングした後、マスクを予測しました。 そして、クラスごとに、クラスマスクがあり、メトリックが最悪である上位100個のサンプルを選択しました。 そして、これらのサンプルを次の反復に追加しました。 したがって、私は1石で2羽の鳥を殺しました。各時代には各クラスのサンプルがあり、各時代には「複雑な」サンプルがありました。 直接比較することはしませんでしたが、ネットワークははるかに速く収束したように感じました。

このような改善により、私は最終的なアンサンブルに入る2つのネットワークをさらに訓練しました。 しかし、私の意見では、最良の発見は3つの入力を持つネットワークでした。



この概念は、Dmitry Tsybulevskyとの議論の過程で生まれました。 このコンテストの写真の問題は、チャンネルごとに解像度が大きく異なるため、すべての情報を使用する場合は、すべてを同じサイズにする必要があることです。 しかし、それを減らすと解像度が失われ、人工構造物などのクラスは完全に消えます。 まあ、すべてを最大サイズにすると、たとえばAバンドを20倍に増やす必要がありますが、これは非常に不合理に見えます。 一方、引っ張られた各層の後にニューラルネットワークを通過する画像は、効果的に小さくなります。

したがって、U-netエンコーダー部分のメインブランチのサイズが小さくなると、新しい写真を追加するというアイデアが生まれました。 これを行うために、224x224のサイズのRGBバンドとPバンドが最初の出力に送られ、メインブランチへの2つのプルの後、Mバンドの入り口が連結され、さらに2つのAバンドのプルが行われました。 同時に、すべてのバンドは同じ物理領域を持ちました。 このために、最小のチャネルを1.5倍にする必要がありましたが、これは許容範囲です。 畳み込み層の後に連結された各チャネル。 これは、グリッドの表示と生の画像を異なる性質の特徴として連結しないようにするために行われました。 この点で、メインブランチの写真は2番目、特に3番目の入り口の写真よりもはるかに多くの畳み込み層を通過したため、これではまだ十分ではないという公正な批判を受けました。 そして、ほとんどの場合、これは真実であり、後続の入力ごとに多数の畳み込みを行うアーキテクチャの方が適切に機能しますが、この種のハイパーパラメーターの最適化は行いませんでした。 全回路

学習機能

原則として、画像認識のために深い畳み込みニューラルネットワークをトレーニングするプロセスは非常に理解しやすいものです。 特にImagenetを使用した最先端のアーキテクチャの重みが開発され、レイアウトされた後。 しかし、このタスクでは、ニューラルネットワークをスムーズにグ​​ローバルミニマムに飛ばすために、ニューラルネットワークを取得してトレーニングすることは容易ではありませんでした。 第一に、ODS Slackで長い間、誰もリーダーボードと明確に対応する信頼できるローカル検証スキームを提供できませんでした。 第二に、ネットワークは時代から時代へと大きく左右され、あるアーキテクチャの隣接する時代は、別のニューラルネットワークの予測よりも予測の品質が異なる場合がありました。

ローカル検証でトレーニングログを作成すると、次のようになります。



チャートでは、最初の7つのクラスと右下のジャカードはすべてのクラスの平均メトリックを示しています。 いくつかのクラスの面積は他のクラスよりも大きいため、サンプルのアライメントがあっても、異なるクラスが異なる反復回数でトレーニングされていることがわかります。 ディップと揺れも表示されます。 予測がどうなるかを知りたいと思い、各時代について検証のためにそれらを視覚化しました。 これらの予測から、 Roman Solovyovは素晴らしいビデオをまとめました。



ビデオは、各クラスの予測が時代ごとにどのように変化するかを示しています。 マークされた色：青-クラスマスク（False Negative）、緑-誤った予測（False Positive）、青-正しい予測（マスクと予測の交差）（True Positive）。 私は個人的に、ネットワークが最初に無関係なものを予測し、次にその予測を明確にする瞬間が好きです。たとえば、高速水路や高速道路のクラスなどです。 また、すべてのクラスで、予測のリーリングが見られます。 スライディングウィンドウによってマスク全体が予測されるという事実に関連するアーティファクトにも気付くことができます。 さて、私が自分のために作った主な結論-結果の視覚的分析が決定します。

だから私はそのようなことをした。



これは、テストからの一連の画像のモザイクであり、何らかの理由で複雑に見えました。 私は夜中ずっとテストと予測の写真を外部委託するために過ごしたので、これらは色です。 たとえば、一番左の部分には家と採石場があり、多くの場合、家と水に偽陽性を出しました。 その後、訓練セットになかった日陰の水で海の一部が来ます。 次に、水面に波紋がある大きな川の一部がそれぞれ来ます。そのような大きな川と波紋もそこにはありませんでした。 私はまた、不十分に定義された高速道路の難しいセクションを選択しました。

さらに、各時代に、列車プール（複雑な例）と検証に加えて、このテストも予測しました。 次に、最高の時代を視覚的に選択し、それらをリーダーボードでテストし、利益を上げた場合、意思決定を安定させるために予測を平均しました。 平均化のトリックも増加しましたが、この方法では多くの時代をチェックできませんでした。

ローマンとマージする前の最終パイプラインは次のようになります。



しかし、その後ローマは私に手紙を書いて団結することを申し出ました。 KerasとTheanoの両方をバックエンドとして使用し、結果を最適なクラスと直接組み合わせると、個々のクラスの予測を平均化または組み合わせなくてもtop2の結果が得られたため、これは非常に合理的であると思われました。 私の決定について、Romanが別の投稿を書くことを願っています。

あとがき

データについて。 ODS Slackのすべての参加者の驚きと驚きは、コンテスト終了後、実際に彼らがテストから32枚の写真だけをマークしたと言ったときでした。 残りは偽物でした。 それに応じて、公開は6ショット、個人は26ショットです。このため、競争にはある程度宝くじのキャラクターがあったと推測できます。 まあ、これはしばしばローカル検証と公開の間の頻繁な不一致を説明します、なぜならそれらはしばしばサイズが同程度だったからです。

主催者について。 説明によると、競争はモスクワ時間の3泊で3月7日に終了する予定でした。 私は個人的に、この瞬間のすべての新年よりもはるかに多くを期待していました。 そして、結果が公表されなかったときのODS Slack参加者のこだわりのレベルを想像することができ、フォーラムにメッセージが出て、私たちはすべて順調であり、結果は1週間以内になるでしょう。 顧客がプレスリリースを準備しているという事実のために。 1週間後、 プレスリリースがあり、データが既に分析されていることが報告されました（もちろん、誰もソリューションをまだ送信していませんでした）。 そして、Dstlは競争の形式が非常に好きだったので、彼らはドローンとトピックモデリングで自分のカッグルをフラッシュすることにしました 。 このサイトではすでに2つのコンペティションが開始されていますが、急いでビデオカードのラジエーターをこすり、xgboostをインポートしないでください。 腐敗指数が37を超える国の市民のみが、このコンテストの賞品を申請できます（Transparency Internationalの腐敗認識指数2014）。 したがって、ザンビアとブルキナファソの市民は参加できますが、ロシア人は参加できません。 どんな競争にも独自の熱意があり、Dstlがそれを見つけたようです-それは燃え尽き症候群です。

参加の一般的な経験について。 私はこのコンテストのために多くの時間を殺したという事実にもかかわらず、私は間違いなくそれを気に入っており、賞品がなくても多くの利益を得ました。 これは、ニューラルネットワークをトレーニングするための一連のトリックである画像セグメンテーションでの作業経験であり、競技会への参加にも関心を持っている人々との新しい知り合いを忘れないでください。 Avitoは間もなく独自のコンペを開催し、コンペはレコメンデーションシステム専用になります 。 みんなに参加することをお勧めします！

トレーニングの記録：



ここでレポートのプレゼンテーション。

UPD：
Romanからの投稿を見越して、共有パイプラインで写真を撮ることにしました。


UPD2：
同じ競争に関するウラジミールの投稿