opencvライブラリを使用したPHPでのコンピュータービジョンと機械学習

みなさんこんにちは。 これはHabréに関する私の記念記事です。 ほぼ7年間、10件の記事（この記事を含む）を執筆しましたが、そのうち8件は技術的なものです。 すべての記事の総閲覧数は約50万です。
PHPとサーバー管理の2つのハブに主に貢献しました。 私はこれら2つの分野の接点で仕事をするのが好きですが、私の関心の範囲はもっと広いです。

多くの開発者と同様に、私はしばしば他の人の仕事の結果（Habréの記事、githubのコードなど）を使用するので、それに応じてコミュニティと結果を共有できることを常に嬉しく思っています。 記事を書くことは、コミュニティへの借金の返済であるだけでなく、志を同じくする人々を見つけ、狭い分野の専門家からコメントを得て、その分野の知識をさらに深めることもできます。

実際、この記事はこれらのポイントの1つについてです。 その中で、私は過去6か月間にほとんどすべての自由時間を過ごしたことを説明します。 道路を渡って海に泳ぎに行った瞬間に加えて、テレビ番組を見たり、ゲームをしたりしました。



現在、「機械学習」は非常に発展しており、Habrを含む多くの記事が書かれており、ほとんどすべての開発者が仕事のタスクやホームプロジェクトでそれを使用して使い始めたいと思っています。常にクリア。 初心者向けのほとんどの記事には、人生が足りないものを読むための多くの文学、英語コース（そして私たち全員がロシア語ほど効果的に英語を学ぶことができるわけではありません）、「安価な」ロシア語コースなどがあります。

特定の問題を解決するための新しいアプローチを説明する新しい記事が定期的に表示されます。 githubでは、記事に記載されているアプローチの実装を見つけることができます。 より一般的にはプログラミング言語として使用されます：c / c ++、python 2/3、luaおよびmatlab、およびフレームワークとして：caffe、tensorflow、torch。 誰もが書いている-誰が何をしている。 プログラミング言語とフレームワークの大規模なセグメント化により、必要なものを見つけてプロジェクトに統合するプロセスが非常に複雑になります。 また、最近、中国語のコメント付きの多くのソースコードがあります。

opencvのこの混乱をなんとかして減らすために、メインフレームワークで訓練されたモデルを使用できるdnnモジュールを追加しました 。 私の側では、このモジュールをphpから使用する方法を示します。


Jeremy Howard （無料の実践コース「コーダー向け機械学習」の作成者）は、機械学習の学習と実践の間に大きな限界があると考えています。


ハワードは、 1年のプログラミング経験で機械学習の学習を開始するには十分だと言います。 私は彼に完全に同意し、私の記事が機械学習に慣れていないPHP開発者のopencvに参加するためのしきい値を下げるのに役立つことを願っています、まだ彼らがこれを行うかどうかわからない、またすべてのポイントを説明しようとする私は数時間を費やしたので、1分もかからなかった。

それでは、ロゴ以外に何をしましたか？


（opencvが盗作で私を訴えないことを願っています）

SWIGを使用して自分でphp-opencvモジュールを作成することを検討し、それに多くの時間を費やしましたが、何も達成していません。 私はc / c ++を知らず、php 7の拡張機能を書かなかったという事実によって複雑になりました。残念なことに、php拡張機能に関するインターネット上の資料のほとんどはphp 5用に書かれていたので、少しずつ情報を収集し、自分で問題を解決しなければなりませんでした。

次に、githubの拡張でphp-opencvライブラリを見つけました。これは、opencvメソッドを呼び出すphp7のモジュールです。 サンプルのコンパイル、インストール、実行に数日かかりました。 このモジュールのさまざまな機能を試してみましたが、いくつかの方法が欠けていたため、自分で追加し、プルリクエストを作成し、ライブラリの作成者が承認しました。 その後、さらに多くの機能を追加しました。

おそらく、この時点で読者は自分に質問をするでしょう： なぜ著者はそのような問題をまったく必要としなかったのか、なぜpythonとtensorflowの使用を開始できなかったのか？


一般に、これまでのところ、phpでopencvを使用することに満足しています。

これは、画像の読み込みの様子です。

$image = cv\imread("images/faces.jpg"); 

比較のために、Pythonでは次のようになります。

 image = cv2.imread("images/faces.jpg") 

PHP（およびc ++）で画像を読み取る場合、情報はMatオブジェクト（マトリックス）に保存されます。 phpでは、そのアナログは多次元配列ですが、多次元配列とは異なり、このオブジェクトでは、すべての要素を数値で除算するなど、さまざまな迅速な操作が可能です。 pythonでは、画像を読み込むと、numpyオブジェクトが返されます。

注意レガシー！ imread（php、c ++、およびpyton）がRGB形式ではなくBGRで画像をロードするのは偶然のことです。 そのため、opencvの例では、変換手順BGR-> RGBを見ることができ、その逆も同様です。

写真内の顔を検索する

私が最初に試したのはこの機能です。 Opencvには、 CascadeClassifierクラスがあり 、事前にトレーニングされたモデルをxml形式で使用できます。 顔を見つける前に、画像を白黒で翻訳することをお勧めします。

 $src = imread("images/faces.jpg"); $gray = cvtColor($src, COLOR_BGR2GRAY); $faceClassifier = new CascadeClassifier(); $faceClassifier->load('models/lbpcascades/lbpcascade_frontalface.xml'); $faceClassifier->detectMultiScale($gray, $faces); 

→ 完全なサンプルコード

結果：



例からわかるように、ゾンビの化粧の写真でも顔を見つけることは問題ではありません。 また、メガネは顔を見つけるのを妨げません。

写真に写っている人の認識（認識）

これを行うために、 opencvにはLBPHFaceRecognizerクラスとtrain / predictメソッドがあります。

写真に誰が写っているかを知りたい場合、最初にtrainメソッドを使用してモデルをトレーニングする必要があります。2つのパラメーターが必要です。顔画像の配列とこれらの画像の数値マークの配列です。 その後、テストイメージ（顔）でpredictメソッドを呼び出し、それに対応する数値マークを取得できます。

 $faceRecognizer = LBPHFaceRecognizer::create(); $faceRecognizer->train($myFaces, $myLabels = [1,1,1,1]); // 4   $faceRecognizer->update($angelinaFaces, $angelinaLabels = [2,2,2,2]); // 4   $label = $faceRecognizer->predict($faceImage, $confidence); //  label (1  2)  $confidence () 

→ 完全なサンプルコード

顔のセット：





結果：



LBPHFaceRecognizerを使い始めたとき、完成したモデルを保存、ロード、再トレーニングする機能がありませんでした。 実際、私の最初のpullrequestはこれらのメソッドを追加しました：write / read / update。

顔のタグ付け

opencvを使い始めたとき、目、鼻、唇などが点でマークされている顔の写真をよく目にしました。 私はこの実験を自分で繰り返したかったのですが、これはPythonのopencvバージョンでは実装されていませんでした。 FacemarkLBFのサポートをphpに追加し、2番目のプルリクエストを送信するのに夕方かかりました。 すべてが単純に機能し、事前に訓練されたモデルをロードし、入力に面の配列を送信し、各面のポイントの配列を取得します。

 $facemark = FacemarkLBF::create(); $facemark->loadModel('models/opencv-facemark-lbf/lbfmodel.yaml'); $facemark->fit($src, $faces, $landmarks); 

→ 完全なサンプルコード

結果：



この例からわかるように、ゾンビの構成は、顔の基準点の位置を悪化させる可能性があります。 メガネも顔を邪魔することがあります。 ハイライトも影響します。 この場合、口の中の異物（イチゴ、タバコなど）が干渉することはありません。

最初のプルクエストの後、私はインスピレーションを受け、opencvで他に何ができるかを見始め、現在OpenCVにあるディープラーニングの記事に出会いました。 ためらうことなく、私はphp-opencvに、インターネット上で完全な事前学習済みモデルを使用する機能を追加することにしました。 Caffeモデルをダウンロードするのはそれほど難しくないことが判明しましたが、後で多次元行列の操作方法を習得するのに多くの時間を要しました。その半分はc ++になり、opencvの内部を調べ、2つ目はPythonで、Caffe / Torchモデルを操作しました/ opencvを使用しないテンソルフロー。

dnnモジュールを使用して写真の顔を検索する

そのため、 opencvでは、 readNetFromCaffe関数を使用して、事前にトレーニングされたモデルをCaffeに読み込むことができます。 .prototxtファイルと.caffemodelファイルへのパスという2つのパラメーターが必要です。 prototxtファイルにはモデルの説明が含まれ、caffemodelにはモデルのトレーニング中に計算された重みが含まれます。

prototxtファイルの始まりの例を次に示します 。

 input: "data" input_shape { dim: 1 dim: 3 dim: 300 dim: 300 } 

ファイルのこの部分は、4次元の1x3x300x300マトリックスが入力されると予想されることを説明しています。 モデルの説明では、通常、この形式で予想される内容を記述しますが、ほとんどの場合、これは300x300サイズのRGBイメージ（3チャンネル）が入力されると予想されることを意味します。

関数imreadを使用して300x300 RGBイメージを読み込むと、300x300x3マトリックスが得られます。

opencvで300x300x3マトリックスを1x3x300x300にするために、 blobFromImage関数があります。
その後、 setInputメソッドを使用してネットワーク入力にblobを送信し、 forwardメソッドを呼び出すだけで、完成した結果が返されます。

 $src = imread("images/faces.jpg"); $net = \CV\DNN\readNetFromCaffe('models/ssd/res10_300x300_ssd_deploy.prototxt', 'models/ssd/res10_300x300_ssd_iter_140000.caffemodel'); $blob = \CV\DNN\blobFromImage($src, $scalefactor = 1.0, $size = new Size(300, 300), $mean = new Scalar(104, 177, 123), $swapRB = true, $crop = false); $net->setInput($blob, ""); $result = $net->forward(); 

この場合、結果は1x1x200x7マトリックス、つまり 各7要素の200配列。 4人の写真で、ネットワークは200人の候補者を見つけました。 それぞれ[、、 $信頼、$ startX、$ startY、$ endX、$ endY]のようになります。 $信頼要素は、「信頼」に責任があります。 予測の確率が成功したこと、たとえば0.75。 次の要素は、面と長方形の座標を担当します。 この例では、50％を超える信頼度で3人しか検出されず、残りの197人の候補者の信頼度は15％未満です。

モデルサイズ10 MB、 完全なサンプルコード 。

結果：



例からわかるように、ニューラルネットワークを「額に」使用すると、必ずしも良い結果が得られるとは限りません。 4人目の人物は見つかりませんでした。4枚目の写真を切り取り、ネットワークに個別に送信すると、顔が見つかります。

ニューラルネットワークを使用した画質の改善

私は長い間waifu2xライブラリについて聞いていました 。これにより、ノイズを除去し、アイコン/写真のサイズを大きくすることができます。 ライブラリ自体はluaで記述されており、ボンネットの下では、トーチでトレーニングされたいくつかのモデル（アイコンの拡大、フォトノイズの除去など）を使用しています。 ライブラリの作成者はこれらのモデルをcaffeにエクスポートし、opencvからの使用を支援しました。 その結果、アイコンの解像度を上げるためにphpでサンプルが作成されました。

モデルサイズ2 MB、 完全なサンプルコード 。

オリジナル：



結果：



ニューラルネットワークを使用せずに画像を拡大する：

画像分類

ImageNetデータセットでトレーニングされたMobileNetニューラルネットワークを使用すると、画像を分類できます。 合計で1000個のクラスを定義できますが、私の意見ではこれで十分です。

モデルサイズ16 MB、 完全なサンプルコード 。

オリジナル：



結果：

87％-エジプト猫、4％-トラ、トラ猫、2％-トラ猫

Tensorflowオブジェクト検出API

COCOデータセットでTensorflowでトレーニングされたMobileNet SSD（シングルショットマルチボックスディテクター）ニューラルネットワークは、画像を分類できるだけでなく、 182のクラスのみが画像を判別できますが、領域も返すことができます。

モデルサイズ19 MB、 完全なサンプルコード 。

オリジナル：



結果：

構文の強調表示とコード補完

また、 phpdoc.phpファイルをリポジトリ例に追加しました。 彼のおかげで、Phpstormは関数、クラス、およびそれらのメソッドの構文、およびコード補完を強調しています。 このファイルをコードに含める必要はありません（そうしないと、エラーが発生します）。プロジェクトに入れるだけで十分です。 個人的には、私の生活が楽になります。 このファイルはopencvのほとんどの機能を説明していますが、すべてではありませんので、プルリクエストを歓迎します。

設置

dnnモジュールは、バージョン3.4でのみopencvに登場しました（それ以前はopencv-contribにありました）。

ubuntu 18.04では、opencvの最新バージョンは3.2です。 ソースからopencvをビルドするには約30分かかります。そのため、ubuntu 18.04（17.10で動作、サイズ25MB）のパッケージをコンパイルし、php 7.2（ubuntu 18.04）およびphp 7.1（ubuntu 17.10）（サイズ100KB）。

ppa：php-opencvを登録しましたが、まだ塗りつぶしをマスターしておらず、 パッケージをgithubにアップロードする以上の良いものは見つかりませんでした。 また、peclでアカウントを作成するリクエストを作成しましたが、数か月後に応答がありませんでした。

したがって、ubuntu 18.04でのインストールは次のようになります。

 apt update && apt install -y wget && \ wget https://raw.githubusercontent.com/php-opencv/php-opencv-packages/master/opencv_3.4_amd64.deb && dpkg -i opencv_3.4_amd64.deb && rm opencv_3.4_amd64.deb && \ wget https://raw.githubusercontent.com/php-opencv/php-opencv-packages/master/php-opencv_7.2-3.4_amd64.deb && dpkg -i php-opencv_7.2-3.4_amd64.deb && rm php-opencv_7.2-3.4_amd64.deb && \ echo "extension=opencv.so" > /etc/php/7.2/cli/conf.d/opencv.ini 

このオプションを使用したインストールには約1分かかります。 ubuntuのすべてのインストールオプション 。
また、168 MBのdockerイメージも作成しました 。

例を使用する

ダウンロード：

 git clone https://github.com/php-opencv/php-opencv-examples.git && cd php-opencv-examples 

打ち上げ：

 php detect_face_by_dnn_ssd.php 

PS

興味のあるすべての人に、記事の後に投票に答えてもらい、次の記事を見逃さないように登録してください。コメントを書いて質問を書いてくれるように動機付け、新しい実験/記事のオプションを提案してください。

伝統的に、私はHabrやソーシャルネットワークの個人的なメッセージを通して助言も支援もしないと警告しています。

github（ロシア語で利用可能）でIssueを作成することにより、いつでも質問をすることができます。

謝辞：
githubで簡単に回答できるdkurt 。
arrybnの記事「ディープラーニング、現在OpenCVで」

参照：

→ php-opencv-examples-記事のすべての例
→ php-opencv / php- opencv - dnnモジュールをサポートする私のフォーク
→ hihozhou / php-opencv- dnnモジュールをサポートしない元のリポジトリ（pullrequestを作成しましたが、まだ受け入れられていません）。
→ 記事の英語への翻訳 -イギリス人とアメリカ人は英語の間違いをする人に非常に忍耐強いと聞きましたが、すべてに再分配があり、このラインを越えたように思えます:) 同じことがredditにも当てはまります。