車のナンバープレートの詳細な認識

番号認識アルゴリズムの実装がどのように機能するかを詳細に説明するときが来ました。これが良い解決策であることが判明しました。 そして、Habr-usersに報告するために-結局のところ、 Recognitor Androidアプリケーションを使用して、撮影方法と撮影方法を説明せずに、完全に公平に撮影された数字のショットの適切なサイズのデータ​​ベースを取得するのに役立ちました。 そして、認識アルゴリズムを開発する際の画像の基盤は最も重要です！

Recognitor Androidアプリケーションで何が起こったのか

Habrのユーザーがアプリケーションをダウンロードし、試して、数字を送ってくれたことはとても嬉しかったです。


プログラムのダウンロードと評価

アプリケーションがアップロードされてから、モバイルアプリケーションから3,800個の数字のスナップショットがサーバーに届きました。
さらに、リンクhttp://212.116.121.70:10000/uploadimageに満足しました。2日間で、約8,000枚のフルサイズのナンバープレート（主にVologda）の写真が送られました。 サーバーはほとんど嘘をついていました。

現在、12,000枚のスナップショットが手元にあります-アルゴリズムのデバッグに関する巨大な作業が待ち受けています。 すべての楽しみはまだ始まったばかりです！

Androidアプリケーションでは、以前に番号が割り当てられていたことを思い出させてください。 この記事では、この段階については説明しません。 この場合、 カスケードHaar検出器です。 フレーム内の数値が強く回転している場合、この検出器は常に機能するとは限りません。 訓練されたカスケード検出器が機能しない場合の動作の分析については、次の記事に進みます。 これは本当に面白いです。 これはブラックボックスのようです-彼らは検出器を訓練し、何もしません。 これは実際にはそうではありません。

ただし、計算リソースが限られている場合は、カスケード検出器が適切なオプションです。 車の番号が汚れている場合やフレームが見えにくい場合、Haarは他の方法に対しても優れたパフォーマンスを発揮します。

番号認識

この種の写真のテキストを認識するストーリーは次のとおりです。


一般的な認識アプローチは、 最初の記事で説明されました。

最初に、パースペクティブ番号によって汚れ、部分的に消去され、ひどく歪んだ認識をするタスクを設定しました。
第一に、それは興味深いことであり、第二に、きれいなものは一般的に100％のケースで機能すると思われました。 通常、これは当然のことです。 しかし、うまくいきませんでした。 ダーティな数値の成功率が88％の場合、クリーンな数値の場合、たとえば90％であることが判明しました。 実際、モバイルアプリケーションの写真から成功した回答までの認識の確率は、もちろん、この数字よりもさらに悪いことが判明しました。 着信画像の50％未満（ユーザーが写真を撮ろうとしないようにするため）。 つまり 平均して、数字を正常に認識するために2回撮影する必要がありました。 多くの点でこの低い割合は、多くの人が実際の状況ではなく、モニター画面から数字をレンタルしようとしたという事実によるものです。

アルゴリズム全体がダーティナンバー用に構築されました。 しかし、モスクワの夏には、10室中9室が完全に清潔であることが判明しました。 そのため、戦略を変更し、2つの別個のアルゴリズムを作成する方が適切です。 クリーンな数値を迅速かつ確実に認識できた場合、この結果がユーザーに送信されます。それが不可能な場合、プロセッサ時間をもう少し費やし、ダーティな数値に対して2番目のアルゴリズムを実行します。

すぐに実装する必要がある単純な番号認識アルゴリズム

きれいな部屋を認識する方法は？ これはまったく難しいことではありません。

このようなアルゴリズムには次の要件があります。

1）ある程度のコーナリング抵抗（±10度）
2）小規模な変更に対する耐性（20％）
3）フレームの境界線または単純に表現が不十分な境界線で数字の境界線を切り落とすことは、すべてを台無しにするべきではありません（汚れた数字の場合、数字の境界線に頼らなければならないため、これは基本的に重要です。数字がきれいな場合、数字/文字よりも優れていることはありません番号）。

したがって、きれいで読みやすい数字では、すべての数字と文字が互いに分離可能であるため、画像を二値化し、関連する領域を形態学的に選択するか、よく知られている輪郭関数を使用できます。

フレームを二値化する

ここでは、ミッドレンジフィルターを調べて画像を正規化する価値があります。

画像は、明確にするために最初は低コントラストのフレームを示しています。

次に、固定のしきい値で2値化します（画像は正規化されているため、しきい値を修正できます）。

フレーム回転仮説

画像のいくつかの可能な回転角度を想定します。 たとえば、+ 10、0、-10度：



将来的には、この方法は数字や文字の回転角度に対する抵抗がほとんどなくなるため、10度の角度でこのような十分に大きなステップが選択されました。
将来的には、各フレームを個別に処理します。 最適な結果が得られる回転仮説が勝ちます。

そして、すべての関連エリアを収集します。 ここでは、OpenCVの標準のfindContours関数を使用しました。 接続された領域（輪郭）のピクセル単位の高さがH1からH2で、幅と高さがK1からK2の比率で関連付けられている場合は、フレーム内に残して、この領域にサインがあることに注意してください。 ほぼ確実に、この段階では数字と文字のみが残り、残りのゴミはフレームを離れます。 輪郭を囲む長方形を取り、それらを同じスケールに合わせてから、各文字/数字を個別に処理します。

以下は、要件を満たす輪郭の境界矩形です。


文字/数字

画質は良好で、すべての文字と数字は完全に分離可能です。そうでなければ、このステップには到達しませんでした。
すべての文字を同じサイズ（20x30ピクセルなど）にスケーリングします。 ここにあります：

ちなみに、Resizeを実行すると（20x30に縮小した場合）、2値化された画像は補間のためにグラデーションに変わります。 二値化を繰り返す必要があります。

そして今、既知の標識画像と比較する最も簡単な方法は、XOR（Hamming Normalized Distance）を使用することです。 たとえば、次のように：

距離= 1.0-|サンプルXOR画像| / |サンプル|

距離がしきい値よりも大きい場合は、兆候が見つかったと考えられますが、それよりも少なくなります。

文字番号番号番号番号文字

はい、この形式でロシア連邦の自動車標識を探しています。 ここでは、数字の0と文字「o」、数字の8と文字「c」はまったく区別できないことを考慮に入れる必要があります。 すべての記号を左から右に並べて、それぞれ6文字ずつ入力します。
時間の基準-文字-数字-数字-数字-文字-文字（0 / o、8 / inについて忘れないでください）
基準2-行からの6文字の下境界線の偏差

仮説の合計ポイント-6文字すべてのハミング距離の合計。 より多くの、より良い。

したがって、合計ポイントがしきい値よりも少ない場合、数字の6文字（地域なし）が見つかったと考えられます。 しきい値を超える場合、ダーティナンバーに耐性のあるアルゴリズムに進みます。

文字「H」と「M」を別々に検討する価値があります。 これを行うには、たとえば、勾配のヒストグラムによって、別個の分類器を作成する必要があります。

地域

すでに見つかった6つの文字の下部に沿って描かれた線の上にある次の2つまたは3つの文字が領域です。 3桁目が存在し、その類似度がしきい値を超える場合、領域は3桁で構成されます。 それ以外の場合、2つのうち。

ただし、地域の認識は、私たちが望むほどスムーズに進まないことがよくあります。 地域内の数字は小さく、正常に分割できない場合があります。 したがって、以下で説明するように、汚れ/ノイズ/オーバーラップに対してより耐性のある方法で領域を認識することをお勧めします。

アルゴリズムの説明の一部の詳細はあまり詳細に開示されていません。 一部には、このアルゴリズムのモックアップのみが作成されており、これらの数千のイメージでテストおよびデバッグする必要があるためです。 数が適切できれいな場合、数十ミリ秒の間、数を認識するか、「失敗」と答えて、より深刻なアルゴリズムに進む必要があります。

ダーティナンバー耐性アルゴリズム

画質の低下（汚れ、解像度の低下、影または撮影角度）のために数字の記号がくっつく場合、上記のアルゴリズムがまったく機能しないことは明らかです。

最初のアルゴリズムで何もできなかった場合の数値の例を次に示します。


そして、以下で説明するアルゴリズムはできました。

ただし、ナンバープレートの境界に依存する必要があります。次に、厳密に定義された領域内で、よく知られた方向とスケールの標識を探します。 そして最も重要なこと-二値化なし！

数字の下の境界線を探しています

このアルゴリズムで最も簡単で信頼性の高い手順。 回転角度でいくつかの仮説を整理し、画像の下半分の水平線に沿ってピクセル輝度のヒストグラムを回転させることで、各仮説を構成します。


最大の勾配を選択し、傾斜角と下から数を切り取るレベルを決定します。 コントラストを改善してこの画像を取得することを忘れないでください：


一般に、明度のヒストグラムだけでなく、分散ヒストグラム、勾配ヒストグラムを使用して、数値クロッピングの信頼性を高める価値があります。

数値の上限を探しています

ここではそれほどはっきりしていませんが、背中のナンバープレートを手から外すと、この例のように、上部の境界線が非常に曲がり、標識を部分的に覆ったり、日陰になったりすることがわかりました。

数値の上部に明るさの急激な変化はありません。また、最大勾配により、中央の数値が完全にカットされます。

状況から抜け出したのはささいなことではありません。各桁と各文字に対してHaarカスケード検出器をトレーニングし、画像内のすべての記号を見つけたので、カットする上部の行を決定しました。



ここでやめる価値があるように思えます-私たちはすでに数字と文字を見つけました！ しかし、実際には、もちろん、Haar検出器は間違っているかもしれませんが、ここには7〜8文字があります。 数字4の良い例です。数字の上部の境界線が数字4とマージする場合、数字7を見るのはまったく難しくありません。これはこの例で偶然起こりました。 しかし、一方で、検出エラーにもかかわらず、見つかった長方形の上部境界線は、実際にナンバープレートの上部境界線と一致します。

数字の横罫線を見つける

また、トリッキーなものはありません-一番下のものとまったく同じです。 唯一の違いは、多くの場合、数字の最初または最後の文字のグラデーションの明るさが数字の垂直境界のグラデーションの明るさを超えることができるため、最大値ではなく、しきい値を超える最初のグラデーションが選択されることです。 同様に、下の境界では、傾斜に従っていくつかの仮説を整理する必要があります。これは、遠近法により、垂直および水平の境界線の垂直性がまったく保証されないためです。

だからここによくトリミングされた数字があります：


はい！ うまく認識された嫌な数のフレームを挿入すると特に便利です。

悲しいことは一つだけです-この段階では、数字の5％から15％が誤って切り捨てられます。 たとえば、次のように：

（ちなみに、これは黄色のタクシー番号を送ってくれた人です、私が理解しているように-形式は規則的ではありません）

これはすべて、計算を最適化するためだけに行われるようにするために必要でした。なぜなら、それらを検索するときに、可能なすべての位置、スケール、標識の傾きをソートするには非常に計算コストがかかるからです。

文字列を文字に分割する

残念ながら、すべての文字の視点と非標準の幅のために、すでにトリミングされた数字の文字を何らかの方法で選択する必要があります。 ここでも、ヒストグラムは明るさによって役立ちますが、すでにX軸に沿っています。


将来的には、2つの仮説を調査するだけです。シンボルはすぐに開始するか、ヒストグラムの最大値を1つスキップする必要があります。 これは、一部の番号では、ネジの穴または車の番号のネジ頭が別の記号として異なる場合や、完全に見えない場合があるためです。

文字認識

画像はまだ二値化されていません。すべての情報を使用します。

ここに印刷された文字があります。次に、重み付き共分散は画像と例を比較するのに適しています：


比較と共分散の重みのサンプル：


もちろん、水平ヒストグラムで強調表示された領域とサンプルを単に比較することはできません。 変位とスケールについていくつかの仮説を立てる必要があります。
X軸に沿った位置の仮説の数= 4
Y軸に沿った位置の仮説の数= 4
スケール上の仮説の数= 3

したがって、1つの符号と比較する場合、各領域について、4x4x3の共分散を計算する必要があります。

まず、3つの大きな数字を見つけます。 これは3 x 10 x 4 x 4 x 3 = 1440の比較です。

次に、左に1文字、さらに右に2文字。 比較用の文字12。その後、比較数3x12x4x4x3 = 1728

6文字の場合、それらの右側はすべてリージョンです。



リージョンには2桁または3桁があります-これを考慮する必要があります。 画質が低すぎる可能性があるため、ヒストグラム内の領域を分割することはすでに無意味です。 したがって、1つずつ左から右に数字を見つけます。 左上隅から始めて、X軸、Y軸、およびスケールに沿っていくつかの仮説が必要です。 最適な一致を見つけます。 所定の量だけ右にシフトし、再び探しています。 最初のシンボルの左側と右側の3番目のシンボルを検索します。3番目のシンボルの類似度がしきい値を超えている場合、幸運です-リージョン番号は3桁で構成されています。

結論

アルゴリズムの適用の実践（記事で説明した2番目）は、認識問題を解決する際の一般的な真実をもう一度確認しました。 汚れた部屋を目指しました テストベースは冬に撮影されました。 そして実際、かなり悪い数字を認識することはしばしば可能でしたが、トレーニングセットにはきれいな数字はほとんどありませんでした。

コインのもう一方の側面が明らかになりました。自動システムが完全に原始的なタスクを解決しない状況ほど、ユーザーを悩ますことはほとんどありません。 「まあ、ここで読めないものは何ですか？！」そして、自動システムが汚れたまたはみすぼらしい番号を認識できなかったという事実が予想されます。

率直に言って、これは大衆向けの認識システムを開発した最初の経験です。 そして、ユーザーのような「些細なこと」については、考えることを学ぶ価値があります。 現在、iO向けの同様の「Recognitor」プログラムを開発した専門家が参加しています。 UIでは、ユーザーはサーバーに送信されているものを確認し、Haarによって割り当てられた番号のどれが必要であるかを選択できます。すでに「凍結」されたフレームで必要な領域を選択できます。 そして、それを使用する方が便利です。 自動認識は愚かな機能にはならず、それなしでは何もできず、ただのアシスタントになります。

自動画像認識がユーザーにとって調和のとれた便利なシステムを考えると、これらの認識アルゴリズムを作成するよりも簡単な作業であることが判明しました。

そして、もちろん、この記事が役立つことを願っています。

このシリーズの最初の記事は技術の概要です
2番目の記事 -サーバー
3番目の記事 -サーバーへのアクセスのプロトコル

番号のプライマリ割り当てを伴うクライアント部分のソース
数字を認識する収集プログラム