ロシアのパスポートの例を使用したギョーシェ要素の認識

ギョーシェは、紙幣、書類、有価証券、その他の種類の印刷製品（チケット、物品税切手、証明書、その他の多くの州規模の書類）を保護するための特別な技術です。

ドキュメント保護は、さまざまなギョーシェ要素の複雑な構成をフォームに適用することにより保証されます。 ギョーシェ要素は、多くの交差する最高級のレースラインの複雑なパターンです（ 図1 ）。 通常、これらの要素は、さまざまな種類の保護ネット、ロゼット、ボーダー、ビネット、コーナーで表されます。 ギョーシェのデザインは、対称または非対称のいずれかです。

既存の規制によると、ギョーシェ要素は証券の面積の少なくとも70％を占める必要があります。
さらに、この領域からは、ほとんどがマルチカラーのギョーシェ組成物を含んでいるはずです。

図1

ギョーシェ要素を含むドキュメントの例：
a）1997年の5ルーブルの紙幣; b）ロシア連邦市民のパスポートのページの画像
元の画像

（3,158.74 KB、PNG-24）

---

文書の画像を認識する場合、多くの場合、さまざまなギョーシェ要素を処理する必要があります。 さらに、通常は背景の一部であるギョーシェは、重要な情報を認識するプロセスを複雑にします（認識システムの不可欠な部分である背景を「抑制する」アルゴリズムを複雑にします）。 ただし、多くのタスクでは、ギョーシェ要素自体が重要なオブジェクトであり、認識される必要があります。

たとえば、このような状況は、ロシア連邦の国民のパスポートのページが認識されたときに発生します（ 図1b ）。 さらに保護するために、パスポートのページ番号はギョーシェロゼットの形式で印刷されます （ 図1b ）。 ただし、この種のグラフィックスの認識アルゴリズムを設定する場合、多くの困難が生じます。 高解像度の画像から認識可能なオブジェクトの特徴ベクトルを構築しようとすると、ギョーシェ要素の特殊性（これは最も細い線のパターンです）により、その値はわずかな幾何学的歪み（シフトや回転など）によって大幅に変化します。

一方、認識されたオブジェクトのコントラストが不十分なため、低解像度の画像から特徴ベクトルを構築しようとしても失敗します。 さらに、認識がさらに困難になると、追加の干渉が発生する可能性があります。 たとえば、パスポートのページ番号は、すでに弱く認識されていますが、多くの場合、さまざまなスタンプやシールによってブロックされています。

この記事では、ロシア連邦市民のパスポートのページ番号の例を使用して、ギョーシェ要素を認識する手法について読者に説明します。 以下に説明する手法は、わずかな修正を加えた後、他の文書に適用されたギョーシェを処理および認識するために使用できます（ 図2 ）。

図2

ギョーシェ要素を含むドキュメントの例：
a）ロシア連邦市民の外国パスポートb）ロシア連邦の軍人の身分証明書
元の画像

（3,638.15 KB、PNG-24）

---

パスポートページ認識アルゴリズム

そのため、パスポートページの画像で、番号を決定する必要があります。 この場合、ページの正確な向きは不明であり、スタンプとシールの形で干渉する可能性もあります（ 図3a ）。

認識の直前に、元の画像を「準備」する必要があります。ノイズを抑え、画像の正しい向きを決定します。 認識可能なオブジェクト（パスポートページ番号）と干渉の可能性の両方が、幾何学的特性が既知の線の構成として主に表されることに注意してください（この場合、太さのみが重要です）。 そのようなオブジェクトを操作する場合、形態学的フィルタリングがよく使用されます。

モルフォロジー（数学的形態学）は、画像上の既知の幾何学的構造を持つグラフィック要素を分離および分析するためのツールです。 主な形態学的操作は、膨張と侵食です。 長方形の構造要素上の画像膨張f（x、y）e = {（x、y）：| x |≤a、| y |≤b}はfで表されます。 eおよび次のように定義されます。

（f e）（x、y）= max {f（x + s、y + t）}
^{| s |≤a、| t |≤b}

同様に、構造要素e上の画像侵食f（x、y）はf eおよび次のように定義されます。

（f e）（x、y）= min {f（x + s、y + t）}
^{| s |≤a、| t |≤b}

他の2つの重要な形態学的操作を検討してください：オープンとクローズ。 構造要素e上の画像f（x、y）を開くことは、fで示されます。 eおよび等式fによって決定されます e =（f e） e。 同様に、プリミティブeによる画像f（x、y）の閉包は、f eおよびfとして定義されます e =（f e） e。 閉じると、オブジェクトの輪郭が滑らかになり、狭い峡谷が「壊れ」、小さな幅の突起がなくなります。 また、開口部は輪郭部分を滑らかにする傾向がありますが、開口部とは対照的に、狭い隙間と狭い幅の長い凹部を「埋め」、輪郭の隙間も埋めます。

ギョーシェレースラインの特徴的な厚さt _g 、2つのギョーシェライン間の特徴的な距離d _g 、およびスタンプラインの厚さt _sとします。 パスポートのページについては、関係が真であることに注意してください。

t _g <d _g <t _s

ステップ1.開封操作を使用して、ギョーシェを形成する線を互いに「塩」にします。 これにより、認識可能なオブジェクトのコントラストが増加しますが、干渉のタイプは実質的に変更されません（d _g <t _sなので ）。 構造要素e ₁ = {（x、y）：| x |≤dg、| y |≤dg}を導入します。 次に、コントラストを次のように設定します（ 図3b ）：

f ₁ （x、y）=（f e ₁ ）（x、y）

ステップ2.ダイの線の太さを把握し、クロージャを使用して干渉の可能性を抑えます。 ダイの水平線と垂直線の「除去」の構造要素を、e ₂ h = {（x、y）：| x |≤0、| y |≤ts}およびe ₂ v = {（x、y）として紹介します。 x |≤ts、| y |≤0}それぞれ。 次に、背景画像（つまり、「干渉なし」のパスポートページの画像）は次のように取得されます（ 図3c ）。

f _2h （x、y）=（f ₁ e _2h ）（x、y）
f _2v （x、y）=（f ₁ e _2v ）（x、y）
f ₂ （x、y）= max {f _2h （x、y）、f _2v （x、y）}

ステップ2 *。 ボーナスとして背景画像を取得した後、干渉のみを含む画像f ₂ *（x、y）を取得するのは簡単です（ 図3c ）。 元の画像から背景を差し引くことで取得され、ページの塗りつぶしを分析するのに役立ちます（パスポートの現在のページにスタンプがあります）。

干渉が除去された後、画像は方向とページ番号を決定する準備ができていると見なされます。 ページの優先方向は、ページのコーナーマーク（ 図3e ）の位置を検出および分析することで見つけることができることに注意してください（ 図3e ）。これは、常にRFパスポートの下部からでなければなりません。 検出アルゴリズムは、オブジェクトとノイズのわずかな歪みに耐える必要があることに注意してください。

さらに、アルゴリズムの調整は小さなトレーニングセットで実行する必要があります。 これらの要件を満たす最も有名なアルゴリズムの1つは、Viola and Jones方式でしょう。

図3

ロシア連邦市民のパスポートのページの認識：
a）元の画像（反転）; b）「オープン」タイプの形態学的ろ過。 c）選択された背景画像。 g）選択されたシールの画像。 e）ページの向きを決定する; e）ページ番号の認識

---

ViolaとJonesのオブジェクトを検出するアルゴリズムは、元々、画像内の顔をリアルタイムで検索するために開発されました。 彼は検出問題を各点でのバイナリ分類問題と見なします。つまり、事前に訓練された認識装置（分類器）を使用して画像内の可能なシフトごとに、この位置に目的のオブジェクトが存在するという仮説がチェックされます。 アルゴリズムの主な機能は次のとおりです。

• 分類器の構築における基本機能としての長方形Haar機能の使用。
• いわゆるイメージ積分を使用すると、素の兆候をすばやく計算できます。
• 効果的なAdaBoost機械学習アルゴリズムを使用して、分類器をトレーニングします。
• 合計画像処理時間を短縮するために、分類子のカスケード構造を使用します。

同じアルゴリズムを使用して、ページ番号に対応する各ギョーシェロゼットの個々の分類子を事前にトレーニングすることにより、パスポートのページ番号を認識します。

ステップ3.事前に訓練された分類器を使用して、背景画像f ₂ （x、y）のコーナーマークの可能な位置を決定します。 見つかったマークが上にある場合、画像を中心の周りに180度回転します（ 図3D ）。

手順4.ページの向きを決定し、必要に応じて画像をオンにした後、ギョーシェロゼット番号の学習済み分類子をそれぞれ背景画像f ₂ （x、y）に適用します。 画像の中央領域でより多くの操作を提供する分類子が、目的のページ番号を決定します（ 図3e ）。

実験結果

説明したアルゴリズムをテストするために、2つのデータセットを準備しました。 1つ目は、パスポートのページ番号のコーナー要素の認識機能を訓練するために使用されました（333個の画像、つまりパスポートの各ページの37の異なる画像で構成されていました）。 2番目のデータセットは、健全性のテストと検出品質の評価に使用され、616種類の画像で構成されていました（ページタイプごとの分布は不均一で、正確な情報は表1に示されています）。

表1.認識統計。

	画像の数	検出品質
ページ 4	34	88.86％
ページ 5	129	89.15％
ページ 6	90	91.11％
ページ 7	88	97.73％
ページ 8	58	91.38％
ページ 9	59	94.92％
ページ 10	57	91.23％
ページ 11	53	100.00％
ページ 12	48	91.67％
合計	616	92.86％

その結果、平均検出品質は92.86％でした。 ページ番号5を認識するときに多くのエラーを受け取ったことに注意してください（他のページに比べてトレーニングサンプルが大きいにもかかわらず）。 これは主に密な充填によるものです。 認識されていないページの一部は、たとえ人であっても非常に困難であると認識できます（ 図4 ）。

図4

パスポートページの認識されない画像の例：
a）元の画像; b）背景画像

---

完全な記事は、ロシア科学アカデミーのシステム分析研究所の議事録に掲載されています。 情報およびグラフィックリソースの処理。 2013. Volume 63、Issue3。P.106–110。 「ギョーシェ要素の認識：ロシア連邦のパスポートのページの決定// Usilin SA、Nikolaev DP、Sholomov DL、Arlazarov VV

推奨読書

1. GOST R 54109-2010。 保護技術。 保護された印刷製品。 一般的な技術要件。 2010年。
2. Gonzalez R.、Woods R.デジタル画像処理。 2006.S. 1072。
3. Soille P.形態学的画像分析：原理と応用//形態学的画像分析の原理と応用。 Springer-Verlag、1999。P。391。
4. Viola P.、Jones M. Robust Real-time Object Detection // International Journal of Computer Vision。 2002年。
5. Freund Y.、Schapire REオンライン学習の意思決定理論的な一般化と後押しへの応用// Journal of Computer and System Sciences。 1997. Vol。 55、No。1。P.119–139。