テキストキャプチャは、ディープラーニングニューラルネットワークによって簡単に認識されます

ディープラーニングニューラルネットワークは、パターン認識で大きな進歩を遂げました。 同時に、テキストキャプチャは、一部の有名な無料メールサービスでも使用されています。 ディープラーニングのニューラルネットワークは、テキストキャプチャを認識するタスクに対処できるのだろうか？ もしそうなら、どのように？

テキストキャプチャとは何ですか？

CAPTCHA（英語の「CAPTCHA」）は、「人類」のテストです。 つまり、人にとっては簡単に解決できる作業ですが、機械にとってはこの作業は難しいはずです。 下の写真の例のように、文字がくっついたテキストをよく使用します。また、画像には光学的な歪みが加えられます。



Captchaは通常、スパムボットから保護するために登録ページで使用されます。

完全な畳み込みニューラルネットワーク

文字が「スタック」している場合、通常、ヒューリスティックアルゴリズムで文字を分離することは非常に困難です。 したがって、写真のすべての場所ですべての文字を検索する必要があります。 完全な畳み込みニューラルネットワークは、このタスクに対処します。 完全たたみ込みネットワーク-完全に接続された層のないたたみ込みネットワーク。 画像はそのようなネットワークの入力に送られ、出力では同じ画像または複数の画像（中心マップ）が生成されます。


中心マップの数は、特定のキャプチャで使用される文字のアルファベットの長さと同じです。 センターマップでは、レターセンターがマークされています。 プルレイヤーの存在によりネットワークで発生する大規模な変換が考慮されます。 以下は、「D」シンボルのシンボルマップの例です。

この場合、パディングのある畳み込み層が使用されるため、畳み込み層の出力での画像のサイズは、入力層での画像のサイズと等しくなります。 シンボルマップ上のスポットプロファイルは、幅1.3および2.6ピクセルの2次元ガウス関数によって定義されます。
完全畳み込みネットワークは、当初「R」シンボルでテストされました。

テストでは、CPUでトレーニングされた2つのプルを持つ小規模なネットワークが使用されました。 アイデアが何らかの形で機能することを確認した後、使用済みのNvidia GTX 760、2GBグラフィックスカードを購入しました。 これにより、アルファベットのすべての文字に対してより大きなネットワークをトレーニングする機会が与えられ、学習が加速されました（約10倍）。 ネットワークをトレーニングするために、現在サポートされていない Theanoライブラリが使用されました 。

発電機トレーニング

大規模なデータセットを手動でマークするのは長く面倒な作業のように思えたため、特別なスクリプトを使用してキャプチャを生成することにしました。 この場合、中心マップは自動的に生成されます。 Hotmailサービスのキャプチャで使用されるフォントを選択しました。生成されたキャプチャは、実際のキャプチャとスタイルが視覚的に似ていました。

生成されたキャプチャでのトレーニングの最終的な精度は、実際のキャプチャでのトレーニングに比べて2倍低いことが判明しました。 おそらく、シンボルの交差の程度、スケール、シンボル線の太さ、歪みパラメータなどのニュアンスが重要であり、これらのニュアンスはジェネレータで再現できませんでした。 生成されたキャプチャでトレーニングされたネットワークは、実際のキャプチャで約10％の精度、つまり正確に認識されたキャプチャの割合を示しました。 Captchaは、その中のすべての文字が正しく認識された場合に認識されたと見なされます。 いずれにせよ、この実験はこの方法が機能していることを示しており、認識精度を高める必要があります。

実際のデータセットのトレーニング

実際のキャプチャデータセットを手動でマークアップするために、グラフィカルインターフェイスを使用してスクリプトをMatlabで作成しました。



ここで、円をマウスで配置および移動できます。 円はシンボルの中心を示します。 手動でのマーキングには5〜15時間かかりましたが、データセットを手動で少額の費用で設定するサービスがあります。 ただし、判明したように、 Amazon Mechanical Turkはロシアの顧客には対応していません。 有名なフリーランスのウェブサイトでデータセットのマークアップを注文しました。 残念ながら、マークアップの品質は理想的ではありませんでした。マークアップを自分で修正しました。 さらに、アーティストの検索には時間がかかり（1週間）、高価なようにも見えました：560のタグ付きキャプチャに対して30ドル。 私はこの方法を拒否しました。その結果、CAPTCHA手動認識サイトを使用することになりました。この場合、最低コストは2000 CAPTCHAで1ドルです。 しかし、そこで受け取った答えには線があります。 したがって、センターの手動配置は回避できませんでした。 さらに、このようなサービスの実行者は、応答に任意の行を印刷することにより、ミスをしたり、悪意を持って行動したりします。 その結果、エラーをチェックして修正する必要がありました。

より深いネットワーク

明らかに、認識の精度が不十分であったため、アーキテクチャを選択するという疑問が生じました。 私は、出力画像の「1ピクセルを行う」という質問に興味があり、入力画像の文字全体を見ることができました。



したがって、出力イメージ内の1つのピクセルを検討しますが、疑問があります。入力イメージ内のピクセルのどの値がこのピクセルの値に影響するのでしょうか。 私はこのように推論しました：ピクセルが文字全体を認識しない場合、文字に関するすべての情報が使用されるわけではなく、精度が低下します。 この可視領域のサイズを決定するために（これを呼び出します）、次の実験を実行しました：畳み込み層のすべての重みを0.01に、変位を0に設定すると、中央のピクセルを除くすべてのピクセルの値が0であるネットワーク入力に画像が送信されます。 その結果、ネットワークの出力にスポットが表示されます。


このスポットの形状は、ガウス関数の形状に近いです。 結果として生じるスポットの形状は、問題を提起します。なぜ、スポットは丸く、畳み込み層の畳み込みカーネルは正方形ですか？ （ネットワークは3x3および5x5コンボリューションカーネルを使用しました）。 私の説明はこれです：それは中心極限定理のように見えます。 その中に、ここにあるように、ガウス分布に対する欲求があります。 中心極限定理は、ランダム変数の場合、異なる分布であっても、それらの合計の分布は分布の畳み込みに等しいと述べています。 したがって、信号を何度も自分で折りたたむと、中心極限定理によると、結果はガウス関数になり、ガウス関数の幅は畳み込み（層）の数の根として大きくなります。 一定の重みを持つ同じネットワークで出力画像のピクセル値がゼロより大きい場所を見ると、正方形の領域が得られます（下図を参照）。この領域のサイズは、ネットワークの畳み込み層の畳み込みサイズの合計に比例します。


畳み込みの連想特性により、 2つの連続した3x3畳み込みは5x5畳み込みと同等であるため、2つの3x3コアを折りたたむと、1つの5x5コアが得られると考えていました。 ただし、2つの畳み込みに3x3 9 * 2 = 18パラメーターがあり、1つの5x5に25個のパラメーターがあるため、5x5畳み込みの自由度が大きいため、これは同等ではないという結論に達しました。 その結果、ネットワークの出力で、層の畳み込みのサイズの合計より小さい幅のガウス関数が取得されます。 ここで、出力のどのピクセルが入力の単一のピクセルの影響を受けるかという質問に答えました。 最初は問題は反対でしたが。 しかし、両方の質問は同等であり、図から理解できます。


図では、これは側面からの画像のビューであるか、画像の高さが1であると想像できます。各ピクセルAおよびBには、出力画像に独自の影響ゾーン（青でマーク）があります：Aの場合はDC、Bの場合はCE 、ピクセルCの値は、ピクセルAとBの値、およびAとBの間のすべてのピクセルの値の影響を受けます。距離は次のとおりです。AB= DC = CE（スケーリングを考慮して、ネットワークにプルレイヤーがあるため、入力画像と出力画像の解像度は異なります）。 その結果、スコープのサイズを見つけるために次のアルゴリズムが取得されます。

1. 畳み込み層に一定の重みを設定し、重みオフセットを値0に設定します
2. 1つの非ゼロピクセルを持つ入力画像
3. 出口のスポットのサイズを取得します
4. このサイズに、入力レイヤーと出力レイヤーの異なる解像度を考慮した係数を掛けます（たとえば、ネットワークに2つのプーリングがある場合、出力解像度は入力の4倍小さいので、このサイズに4を掛ける必要があります）。

ネットワークが使用するサインを確認するために、次の実験を実施しました：訓練されたネットワークにキャプチャ画像をアップロードし、マークされたシンボルセンターの画像を出力で取得し、検出されたシンボルを選択し、センターのマップ画像で検討中のシンボルと一致するカードのみを残しますシンボル。 このネットワーク出力は次のように覚えています 、その後、勾配降下により、関数を最小化します。



ここに -ネットワークの入力画像、 -ネットワーク出力画像、 -実験的に選択された定数（ ） この最小化により、ネットワークの入力と出力は変数と見なされ、ネットワークの重みは一定になります。 変数の初期値 このキャプチャ画像は、勾配降下アルゴリズムを最適化するための出発点です。 この最小化により、画像入力のピクセル値を削減し、最適化の結果として出力画像のピクセル値を抑えながら、ネットワークが文字認識で使用するピクセルのみが入力画像に残ります。
何が起こった：
文字「2」の場合：

文字「5」の場合：

文字「L」の場合：

文字「u」の場合：

左側の画像はキャプチャソース画像、右側の画像は最適化された画像です 。 画像上の四角は可視領域の出力が0より大きいことを示し、図の円は可視領域のガウス関数のレベル線です。 小さな円-最大値のレベル35％、大きな円-レベル3％。 例は、ネットワークがそのスコープ内で見ることを示しています。 ただし、「u」記号には範囲外の動作があり、これは「n」記号に対する部分的な誤った応答である可能性があります。

ネットワークアーキテクチャを使用した多くの実験が行われ、ネットワークがより深くより広くなればなるほど、より複雑なキャプチャが認識できるようになり、最も普遍的なアーキテクチャは次のようになりました。

矢印の上に青色で、画像（機能マップ）の数が表示されます。 c-畳み込み層、p-最大プーリング層、コアのサイズは以下の緑色で示されています。 畳み込み層では、3x3および5x5カーネルがトレードなしで使用され、プル層には2x2パッチがあります。 各畳み込み層の後に、ReLU層があります（図には示されていません）。 1つの画像が入力され、出力は24（アルファベットの文字数）です。 畳み込みレイヤーでは、レイヤーの出力での画像サイズが入力でのサイズと同じになるように、パディングが選択されます。 パディングはゼロを追加しますが、ネガティブイメージが常に取得されるため（黒の背景に白い文字）、背景のキャプチャピクセルの値は0であるため、これはネットワークにまったく影響しません。 パディングはネットワークの速度を少しだけ低下させます。 ネットワークには2つのプルレイヤーがあるため、出力画像の解像度は入力画像の解像度よりも4倍低いため、たとえば、入力に216x96サイズのキャプチャがある場合、54x24サイズの画像が24個あります。 。

機能強化

SGDソルバーからADAMソルバーへの移行により、トレーニングが著しく加速され、最終的な品質が向上しました。 ADAMソルバーは、 ラザニアモジュールからインポートされてtheano-code内で使用され、学習率パラメーターは0.0005に設定され、L2正則化は勾配を通じて追加されました。 結果はトレーニングごとに異なることに気づきました。 このように説明します。勾配降下アルゴリズムは、最適性が不十分な局所最小値にとどまります。 私は部分的に次のようにそれを克服しました：私は数回トレーニングを開始し、いくつかの最良の結果を選択し、それからさらにいくつかの時代のためにそれらを訓練し続けました、そして私はそれらから1つの最良の結果を選択し、この単一の最良の結果は長い間訓練されてきました。 したがって、十分に最適化されていない極小値にとどまることを回避することが可能であり、エラー関数（損失）の最終値は非常に小さいことが判明しました。 図はグラフを示しています-エラー関数の値の進化：

x軸はエポックの数、y軸はエラー関数の値です。 さまざまな色がさまざまなワークアウトを示しています。 トレーニング手順はおよそ次のとおりです。

1）10時代にわたって20回のトレーニングを実行する
2）10の最良の結果を（最低の損失値で）選択し、それらをさらに100時代に向けてトレーニングします
3）最良の結果を1つ選択し、さらに1,500時代のトレーニングを続けます。

約12時間かかります。 もちろん、メモリを節約するために、これらのトレーニングは、たとえば、ポイント2）で順番に実行されました。これにより、ソルバーの状態を保存して変数に読み込むことができるように、ADAMソルバーをLasagneから変更しました。

データセットを3つの部分に分割することで、ネットワークの再トレーニングを追跡できました。

パート1：トレーニングデータセット-初期、ネットワークをトレーニングする
パート2：トレーニング中にネットワークがチェックされるテストデータセット
パート3：遅延データセット、トレーニング後にトレーニングの品質をチェックします

データセット2と3は小さく、私の場合はそれぞれ160個のキャプチャがあり、データセット2は最適な応答しきい値、つまり出力画像に設定されたしきい値を決定します。 ピクセル値がしきい値を超えると、対応するシンボルがこの場所で見つかります。 通常、最適なしきい値の範囲は0.3〜0.5です。 テストデータセットの精度がトレーニングデータセットの精度よりも大幅に低い場合、これは再トレーニングが発生したことを意味し、トレーニングデータセットを増やす必要があります。 これらの精度がほぼ同じであるが、高くない場合、ニューラルネットワークのアーキテクチャを複雑にする必要があり、トレーニングデータセットを増やす必要があります。 ネットワークアーキテクチャを複雑にする2つの方法があります：深さを増やすか、幅を増やします。

画像の前処理により、認識精度も向上しました。 前処理の例：

この場合、最小二乗法を使用して、回転したラインの中央のラインが検出され、回転とスケーリングが実行され、ラインの平均高さに従ってスケーリングが実行されます。 Hotmailサービスでは、多くの場合、さまざまな歪みが生じます。

これらの歪みは補正する必要があります。

悪いアイデア

他の人の失敗について読むことは常に興味深いです、私はそれらをここで説明します。

小さなデータセットに問題がありました。高品質の認識のためには、大きなデータセットが必要であり、手動でマークアウトする必要がありました（1000キャプチャ）。 私は、小さなデータセットで何らかの形でネットワークを定性的に訓練するためのさまざまな試みを行ってきました。 別のネットワークの認識結果に基づいてネットワークをトレーニングしようとしました。 同時に、彼はそれらのキャプチャとネットワークが確実である画像の場所だけを選択しました。 信頼性は、出力画像のピクセル値によって決定されました。 したがって、データセットを増やすことができます。 しかし、このアイデアは機能しませんでした。トレーニングを数回繰り返した後、認識品質が大幅に低下しました。ネットワークは一部の文字を認識せず、混乱させました。

小さなデータセットで学習する別の試みは、シャムネットワークを使用することです。入力でのシャムネットワークには2つのキャプチャが必要です。N個のキャプチャのデータセットがある場合、ペアはN ^2になり 、より多くのトレーニング例が得られます。 ネットワークはcaptchaをベクトルマップに変換します。 ベクトルの類似性の指標としてスカラー積を選択しました。 シャムのネットワークは次のように機能すると想定されていました。 ネットワークは、キャプチャ上の画像の一部をシンボルの参照画像と比較します。ネットワークが、歪みを考慮してシンボルが同じであると判断した場合、この場所に対応するシンボルがあると見なされます。 難易度の高い訓練を受けたシャムのネットワークは、しばしば準最適なローカルミニマムで立ち往生し、精度は通常のネットワークの精度よりも著しく低かった。 おそらく、問題はベクトルの類似性のメトリックの間違った選択だったのでしょう。

また、自動エンコーダを使用して、ネットワークの最下部（入口に最も近いもの）を事前学習して、学習を高速化することも考えられました。 自動エンコーダーは、入力に供給されるのと同じ出力イメージで生成することを学習するネットワークです。一方、自動エンコーダーのアーキテクチャには狭いセクションが編成されています。 エンコーダーのコーチングは、教師なしでトレーニングしています。

自動エンコーダー操作の例：

最初の画像が入力され、2番目の画像が出力されます。
訓練された自動エンコーダーから、彼らはネットワークの下部を取り、新しい訓練されていない層を追加します。これはすべて必要なタスクのために訓練されます。 私の場合、自動エンコーダーの使用はネットワークのトレーニングをスピードアップしませんでした。

色を使用したキャプチャの例もありました。



このキャプチャでは、フルコンボリューショナルニューラルネットワークを使用して説明した方法では結果が得られず、さまざまな画像プリプロセッサでコントラストを上げても表示されませんでした。 完全な畳み込みネットワークは、コントラストのない画像では不十分だと思います。 それにもかかわらず、このキャプチャは、完全に接続されたレイヤーを持つ従来の畳み込みネットワークによって認識され、約50％の精度が得られ、文字の座標は特別な発見的アルゴリズムを使用して決定されました。

結果

例	精度	コメント
	42％	Captcha Microsoft jpg
	61％
	63％
	93％	captcha mail.ru 、500x200、jpg
	87％	captcha mail.ru 、300x100、jpg
	65％	CAPTCHA Yandex 、ロシア語、gif
	70％	CAPTCHA Steam 、PNG
	82％	タンクのキャプチャ世界 、数字、PNG

他に改善できること

キャラクターの中心を自動的にマーキングすることができます。 手動キャプチャ認識サービスでは、認識された行のみが提供されるため、センターの自動マーキングは、トレーニングデータセットのマーキングを完全に自動化するのに役立ちます。 これは、各シンボルが1回出現するキャプチャのみを選択し、各シンボルに対して個別の通常の畳み込みネットワークをトレーニングするという考え方です。このようなネットワークは、このキャプチャにシンボルが存在するかどうかだけに答えます。 次に、入力画像のピクセル値を最小化する方法（上記）を使用して、ネットワークが使用するサインを確認します。 得られたサインは、シンボルをローカライズすることを可能にし、受信したシンボルの中心でフルコンボリューションネットワークをトレーニングします。

結論

テキストキャプチャは、ほとんどの場合、完全な畳み込みニューラルネットワークによって認識されます。 おそらく、テキストキャプチャを放棄するときが来ました。 Googleは長い間テキストキャプチャを使用していません。テキストの代わりに、人が認識する必要のあるさまざまなオブジェクトの写真を提供しています。

ただし、このようなタスクは畳み込みネットワークでは解決されているようです。 将来的には、人を登録するためのセンターがあると想定できます。たとえば、人はSkypeを介して人にインタビューしたり、パスポートスキャンをチェックしたり、その後、人は任意のサイトで自動的に登録できるデジタル署名を与えられます。
©Maxim Vedenev