プロメテウスプロジェクト：AIを使用した火災の検索

翻訳プロジェクトプロメテウス-AIを活用した火災探知ソリューション

同僚と私は、AI、コンピュータービジョン、自動ドローン、天気予報サービスを組み合わせた早期火災検知ソリューションであるPrometheusプロジェクト（Prometheus）に取り組んでいます。 この複合体は、実際の災害に変わる前に山火事を検出するように設計されています。 私たちは、プロジェクトの詳細、仕組み、およびその基礎となる理論的装置についてお話したいと思います。 マテリアルは、特定のテクノロジーから可能な限り独立して提出されるため、特定の実装機能（CNTK、Faster R-CNN、Dockerコンテナー、Python、.NETフレームワークなど）に関心がある場合は、 GitHubリポジトリーにアクセスしてください。 そして、ここで使用されている技術について言及します。

小さな紹介：

やる気

2017年には、森林火災が米国経済に約2,000億ドルの損害を与えたと推定されましたが、これはハリケーンによる被害がわずかに少ないことです。 しかし、違いは、火災が成長する前に消火すれば、損失を大幅に削減できることです。 ただし、火災を検出するタスクは日常的で困難であり、人々の参加が必要です。ほとんどの場合、彼らは双眼鏡を備えた観測塔に座って、時間内に火災に気付こうとするか、ヘリコプターやガイド付きドローンを通して領土を飛び回っています。 Prometheusプロジェクトは、初期段階で火災を検出する自動ドローンの助けを借りてこのルーチン全体を自動化するように設計されています。そうでなければ、風、乾燥、または地形の機能が数分でエリアのエーカーに火災を広げるのに役立ちます。 さらに、これらの火災のほとんどは、人が少なく、病巣の発生を追跡する人がいない遠隔地で発生します。

これらの遠隔地をパトロールするためにドローンを送ると、それらは時間内に火災を検出し、損害を最小限に抑えるのに役立ちます。

プロジェクト

プロメテウスは3つの部分に分けることができます：

• 火災検知モジュールは、深層学習アルゴリズムを使用して、ドローンのRGBカメラ（クラウドRESTサービスとして実装）を使用して小さな焦点を特定します。
• フライトプランニングモジュールを使用すると、ユーザーはパトロールゾーンを選択して計画できます（Windowsアプリケーションとして実装され、気象マッピングサービスと統合されています）。
• 警告システムにより、ユーザーは、検出された火災についてチームにすばやく通知できます（Azure FunctionsおよびTwilioを使用）。

火災検知

自動ドローンを使用して、遠隔地の火災を検索します。 オンボードRGBカメラを使用してエリア全体を撮影し、写真を機械学習モデルに送り、火災を検索してユーザーに通知します。 みんなありがとう、みんな無料です。 しかし、ちょっと...

レッスン1：サイズの問題

コンピュータービジョンを使用して必要な割合で火災を判断することは困難な作業であったため、別のアプローチを使用しました。 この場合、赤外線カメラの方が望ましいため、RGBカメラを使用することは実用的でないと思われます。 しかし、消防士と話した後、すべてがそれほど単純ではないことがわかりました：赤外線カメラでは、気温の高い場所は火のように見え、表面の一部は光反射の特性のために熱源のように見えます。 さらに、このようなカメラははるかに高価です。 消防士は主に夜間にそれらを使用して、完全に消火できたかどうかを確認します。

一般に、機械学習を使用して画像を特定のカテゴリ（発火/非発火）に分類する場合は、おそらく分類手法を使用します。 そのように簡単。 ただし、分類に必要な特性は、フルイメージと比較して小さすぎる場合があります。 たとえば、典型的な小さな点火源は次のようになります。



私たちを含むそのような場合、特定の場所に注意を払ったり、画像内の数を数えないと、オブジェクトを決定する際に最高のパフォーマンスが得られます。 しかし、ほとんどの場合、オブジェクトを決定するシステムのデバイスははるかに複雑です。 この問題を解決するにはさまざまな方法があり、地域畳み込みニューラルネットワーク（R-CNN）、またはむしろFaster R-CNNの実装を使用しました。

また、よく使用されるのはYoLoとDetectron （最近オープンソースに移行）です。

このプロセスは、次の手順で構成されています。

• ローカリゼーション：目的のオブジェクトを含む可能性のある画像内の領域のセクション（サンプル）を生成する必要があります。 これらの領域は、関心領域（ROI）と呼ばれます。 それらは画像全体をカバーする大きなフレームのセットです。 Koen EA van de Sandeらによるオブジェクト認識の選択的検索としてのセグメンテーションで説明されている手法を使用してROIを生成します。 この手法はdlib Pythonライブラリに実装されています。
• オブジェクトの分類：さらに、視覚特性が各フレームから抽出され、それらの評価が実行され、システムはそこにオブジェクトがあるかどうか、そしてそれらが何であるかを仮定します（これについては以下で詳しく説明します）。
• 非最大抑制：同じオブジェクトを表すフレームが部分的にまたは完全に重なり合っていることがあります。 このような重複を避けるために、交差するフレームは1つに結合されます。 このタスクには多くの計算能力が必要な場合がありますが、Intel Math Libraryにはいくつかの最適化が実装されています。

レッスン2：データにヘルプが必要な場合があります

機械学習にはデータが必要です。 しかし、ディープラーニング（つまり、多次元入力空間）では、目的の視覚的プロパティを抽出するために大量のデータが必要になります。 ご理解のとおり、興味のあるオブジェクトの大規模なデータセットを見つけることは困難です（発火）。 この問題を解決するために、事前に訓練された汎用画像分類モデルで「転移学習」技術を使用して、視覚特性を抽出しました。 簡単に言えば、何かを定義するために事前にトレーニングされたモデルを取得し、データセットを使用して「構成」します。 つまり、このモデルはプロパティを抽出し、タスクB（通常は高レベルのタスク）で学習した表現を使用して、問題B（通常は低レベルのタスク）を解決しようとします。 問題Bの解決の成功は、タスクAのモデルがタスクBについてどれだけ学習できたかを示しています。この場合、タスクAはImageNetオブジェクトを分類するタスクであり、タスクBは火災を識別していました。

この手法は、事前学習済みのニューラルネットワークから最後のレイヤーを削除し、独自の分類器に置き換えることで適用できます。 次に、他のすべてのレイヤーの重みをフリーズし、通常の方法でニューラルネットワークをトレーニングします。

結果のニューラルネットワークは、サイズが約250 MBであるため、GitHubでは使用できません。 必要な場合は、お問い合わせください 。

ImageNetには既にトレーニング済みのモデルが多数あります（AlexNet、VGG、Inception、RestNetなど）。 それらのそれぞれで、著者は、速度、正確さ、および構造において異なる妥協を使用しました。 AlexNetを選択した理由は、必要な計算リソースが少なく、タスクの結果が他のネットワークとほとんど変わらないためです。

レッスン3：動画（特に個々のフレーム）が親友

しかし、トレーニングの移転にもかかわらず、分類問題を解決するためにはまだ多くのデータが必要です。 そして、ビデオを活用しました。 各ビデオから多数のフレームを抽出して、すぐに大きな大きなデータセットを取得できます。 ビデオには別の便利なプロパティがあります。オブジェクトまたはカメラが移動すると、異なる照明、異なる角度、異なる位置でオブジェクトの画像が取得されるため、データセットは非常に高品質です。

サイズ、ノックのため、写真のセットもリポジトリにアップロードしませんでした。

さまざまなソースのドローンからビデオを収集し、手動でラベルを付けました。 使用するディープラーニングフレームワークに応じて、さまざまな形式で画像にラベルを付けるためのツールがいくつかあります。 Linux / Windowsの場合はLabelImg、Macの場合はRectLabelをお勧めします。 CNTKを使用したため、CNTKおよびTensorFlow形式にエクスポートできるMicrosoft VoTTツールを使用しました。

レッスン4：ビデオカードを購入する（またはクラウドをレンタルする）

私たちのような大きなモデルをトレーニングするにはかなりの計算能力が必要で、GPUは大きな助けになります。 NVIDIA GeForce GTX 1050を使用して学習するのに約15分かかりました。しかし、ビデオカードを使用していても、モデルパラメーターの設定は大きな困難です。 Microsoftには、Azure Experimentation Serviceという優れたツールがあります。このツールを使用すると、クラウド内のさまざまなパラメーターで複数のトレーニングを並行して実行し、取得した精度を分析できます。 AWS SageMakerもご覧ください。

リポジトリにはSweep_parameters.pyスクリプトが含まれています 。これにより、パラメトリックスペースが自動的にクリアされ、タスクの学習が開始されます。

できた！

そこで、R-CNNを訓練し、学習の移転、ディープラーニング、ビデオカードなどを使って学習しました。今、他の人と仕事を共有する方法を教えてください。 最初に、モデルと対話するためのRESTサービスを開始しました。 このAPIを使用すると、評価用の画像を送信し、画像の領域、モデルがある程度確実に決定した火災の存在を返すことができます。 また、画像が実際に発射されているかどうかをAPIに伝えることもできます。 他のエンドポイントは、フィードバックと機能強化に使用されます。
REST APIサービスはDockerコンテナーにパッケージ化され、クラウドで公開されるため、ソリューションを安価にスケーリングできます。 リポジトリで、Dockerイメージを含むファイルを見つけることができます。

飛行計画

赤い警告

プロメテウスはドローンの送り先をどのようにして知るのですか？ 全国気象サービスと統合して、「レッドアラート」を特定します。 これらは、気温、風向、強さ、湿度、気圧が火災の可能性を高める領域です。 気象サービスはそれぞれの国を対象としているため、外国の検索にはほとんど使用できません。 今日、私たちはアメリカとアルゼンチンのサービスと連携しています。

天気情報

関心のある地域で正確な気象データを持つことが非常に重要です。 消防士はこの機能について尋ねました。 National Weather Serviceのマップサーバーを介して気象ステーションをポーリングし、受信した情報をマップにオーバーレイすることにより、気象データを取得します。 これは天気予報ではなく、実際の測定値であることを強調します。


アメリカの気象観測所 。

このカードがどのように機能するか理解できませんか？ これであなたは一人ではありません。 これの使い方を理解するのに数週間かかりました。 ネット上の情報はほとんどありません。 気象観測所からのデータを試してみたい場合、APIキーを共有する権利がないため、プロバイダーからAPIキーを取得する必要があります。

警告システム

システムが火災を検知すると、オペレーターに検知の事実の確認を求めます。 インターフェイスは次のようになります。


火災確認ウィンドウ 。

ご覧のとおり、このような困難な場合でも、システムは非常に正確に機能します。 小さな赤いフレームは、67％の確率で火災の境界を示しています。 実際、プロメテウスは大規模な火災を検出しようとするため、このようなシナリオで面積を計算すると不安定になります。 意図したとおりにすべてが整然としています。 私たちは単にそのような状況に興味がありませんでした。

警告システムは、事前に登録された電話番号に火災のGPS座標を含むSMS通知を送信します。 Twilioは、APIを使用してテキストメッセージをプログラムで送受信できるクラウドプラットフォームであるため、配布が実行されます。

見てみたいですか？

→ ソースコードはこちら

謝辞

プロメテウスは、アリゾナ州テンペ消防局、アルゼンチン消防局、アルゼンチン国立農業技術研究所と共同で開発されました。