🙍🏿 👨‍🎨 👩🏽‍🤝‍👩🏻 Visual StudioでC ++コードをデバッグしながらOpenCVイメージを表示する ⛹🏼 ☔️ 🤵🏼

C ++で画像処理用のコードを記述する場合、おそらく素晴らしいOpenCVライブラリを使用しているでしょう。コードをデバッグする過程で、画像を頻繁に見たいと思っていることでしょう。このために、 imshowやimwriteなどの便利な機能を使用できます。ただし、これにはソースコードの変更が必要であり、デバッグ中の最新のIDEでは、変数の値をその場で監視できます。同じ画像を見るのは素晴らしいでしょうか？

Visual StudioをIDEとして使用する場合、 .NETを使用すると、この点ですべてが簡単になることがわかります。ただし、OpenCVについて話しているのは、ネイティブC ++のみであり、ハードコアのみです。この記事では、デバッグの過程でVisual Studioに画像を表示させ、既製のソリューションへのリンクを提供する方法を説明します。また、Visual Studioをカスタマイズする方法についても簡単に説明します。

はじめに

既製のソリューションを使用したい場合は、すぐにリンクを提供します：

原則としてVisual Studioをカスタマイズできるツールについて簡単に説明し、そのうちの1つによるソリューションの実装について詳しく説明します。すべての実験はVisual Studio 2010で実行され、完成したソリューションはVisual Studio 2005、2008、2010、2012でテストされました（理論的には2003年に動作するはずです）。

解決策を見つける

OpenCVを使用してイメージを操作するためにC ++コードをデバッグする必要があるとき、すぐにデバッグ中にそれらを直接監視できるようにしたいと考えました。私は喜んでGoogleに乗り込み、既製のソリューションを探し始めました。そして...私は何も見つかりませんでした。 OpenCVイメージの場合も、一般的なネイティブC ++コードからのレンダリングの場合もありません。原則として、ネイティブコードデバッガーをこのように拡張することはできないと、信頼できる居住者が私に言ったことを一般に尋ねました。その瞬間、私は自転車がまだ発明されていないと確信していました。

Visual Studioカスタマイズ機能

ビジュアライザーに適したツールを選択するには、Visual Studioを拡張できる一般的な側面を少なくともおおよそ想像する必要があります。まず、2つの概念を知る必要があります。

.NETバージョン（2003年以降）で導入されたVisual Studioと対話するためのDTEインターフェイス。これにより、Visual Studioのさまざまな部分（ソリューション構造、シェル設定、アクティブウィンドウ、デバッガーなど）へのアクセスを提供するオブジェクトを取得できます。
MEF Managed Extensibility Frameworkは、Visual Studio 2010以降で利用可能な新しいモデルです。これにより、MEFコンポーネント間のより緊密な統合と相互運用が可能になり、DTEを使用できます。

以下は、Visual Studioのカスタマイズに使用されるエンティティのリストです。リストは特定のタスクを考慮してコンパイルされているため、完全であるとは主張していません。

マクロ（マクロ）ソースコード、プロジェクト構造などで実行されるアクションの自動化に最適です 。彼らの助けを借りて、コードのスタイルの確認、テンプレートの生成、ユーザーアクションの記録と再生を行うことができます。 DTEにアクセスできます。 [ツール]→[マクロ]で利用できます。
アドイン： Visual Studio .NET以降に追加されました 。これらは、構文の強調表示の改善からバージョン管理システムの統合まで、考えられるあらゆるカスタマイズに使用されます。 DTEにアクセスできます。 [ツール]→[アドインマネージャー]から利用できます。
拡張機能： Visual Studio 2010以降に導入されたこれらは、アドオンのより高度なバージョンです（相違点の一覧はこちら）。 MEFと対話します。 [ツール]→[拡張機能マネージャー]から利用できます。
デバッグ中にオブジェクトを表示するように設計されたビジュアライザー。内容を表示するときに変数名の横にある虫眼鏡の付いた小さなアイコンをクリックすると使用できます。

ビジュアライザーはまさにあなたが必要とするもののようです。しかし、ここに問題があります-それらはマネージC ++でのみ動作します。最初の3つのオプション（マクロ、追加、および拡張）は、 Debuggerオブジェクトの助けを借りてのみ、デバッグされたプロセスのメモリにアクセスできます。ただし、両方とも何らかの形で結果を制限されたサイズの行の形式で返します。もちろん、画像の内容をバラバラにしてバイナリ形式に戻すこともできますが、どういうわけか非常に曲がっています。

autoexp.datという魔法のファイルもあります。 Visual Studioと共にインストールされ、通常は

:\Program Files (x86)\Microsoft Visual Studio <vs_version>\Common7\Packages\Debugger\autoexp.dat

ネイティブC ++コードのデバッグ時に変数の内容が表示されるルールを説明しています。たとえば、std :: vectorコンテナの内容を右側ではなく左側に見せるようにするのは、彼です。

そして、ここに彼のやり方があります：

autoexp.datのstd :: vector出力ルール

 ; ------------------------------------------------- -----------------------------
 ;  std :: <vector>からのベクトル
 ; ------------------------------------------------- -----------------------------
 ; ベクトルは「[<size>]（<elements>）」でプレビューされます。
 ;  [size]および[capacity]の子があり、その後にその要素が続きます。
 ; 他のコンテナはその例に従います。
 std :: vector <*> {
	プレビュー（
		 ＃（
			 「[」、
			 $ e._Mylast-$ e._Myfirst、
			 "]（"、
			 #array（
				 expr：$ e._Myfirst [$ i]、
				サイズ：$ e._Mylast-$ e._Myfirst
			 ）、
			 「）」
		 ）
	 ）

	子（
		 ＃（
			 ＃（[サイズ]：$ e._Mylast-$ e._Myfirst）、
			 ＃（[容量]：$ e._Myend-$ e._Myfirst）、
			 #array（
				 expr：$ e._Myfirst [$ i]、
				サイズ：$ e._Mylast-$ e._Myfirst
			 ）
		 ）
	 ）
 }
 std :: _ Vector_iterator <*> | std :: _ Vector_const_iterator <*> {
	プレビュー（
		 * $ e._Ptr
	 ）

	子（
		 ＃（[ptr]：$ e._Ptr）
	 ）
 }

これは、文書化が不十分な古い技術です。 Visual C ++ 6.0以降でサポートされています。小さな使用ガイドはこちらです。しかし、デバッグされたプロセスのメモリへの通常のアクセスを可能にするの~~は、ロシア民主主義の父を救うの~~は彼女であることが判明しました。さらに、複雑なマルチレベル構造を頻繁に使用する場合（たとえば、 CGALを使用してジオメトリを検討する場合）、このファイルに手動で追加されたいくつかのルールにより、人生が大幅に簡素化されます。

autoexp.datファイルの構文を使用すると、たとえばアドレス演算などの式を記述するだけでなく、一般にサードパーティのコードを呼び出すことができます！これは、特別な$ ADDINコンストラクトを使用して行われます。最高のものがない場合、このツールをビジュアライザーに使用しました。

Expression Evaluatorアドインソリューション

autoexp.datファイルのライブラリを作成するための小さなガイドは、MSDNで利用できます。ライブラリ関数を呼び出すには、.dllファイルへのパスと呼び出される関数の名前を指定するだけです。

 cv::Mat=$ADDIN(NativeViewer.dll,CvMatViewer)

dll内の関数のプロトタイプは次のとおりです。

 HRESULT WINAPI CvMatViewer(DWORD dwAddress, DEBUGHELPER* pHelper, int nBase, BOOL bUniStrings, char* pResult, size_t max, DWORD reserved)

pHelper引数は、デバッグプロセスのメモリにアクセスする機能を提供し、デバッガーに表示されるオブジェクトのアドレスを返すDEBUGHELPER構造体へのポインターを渡します。

DEBUGHELPER構造コード

 typedef struct tagDEBUGHELPER { DWORD dwVersion; HRESULT (WINAPI *ReadDebuggeeMemory)( struct tagDEBUGHELPER *pThis, DWORD dwAddr, DWORD nWant, VOID* pWhere, DWORD *nGot ); // from here only when dwVersion >= 0x20000 DWORDLONG (WINAPI *GetRealAddress)( struct tagDEBUGHELPER *pThis ); HRESULT (WINAPI *ReadDebuggeeMemoryEx)( struct tagDEBUGHELPER *pThis, DWORDLONG qwAddr, DWORD nWant, VOID* pWhere, DWORD *nGot ); int (WINAPI *GetProcessorType)( struct tagDEBUGHELPER *pThis ); } DEBUGHELPER;

pResultでは、デバッガーによって表示される行を保存する必要があります。理論的には、これがこの関数が行うべきことのすべてです。しかし、誰が私たちを止めるでしょうか？すでにメモリにアクセスしています。そして、彼らが言うように、技術の問題。

画像コンテンツを抽出する

現在利用可能なタイプ情報は、その名前cv :: Matのみです。つまり、特定のバージョンのOpenCVの.hファイルに基づいてフィールドのアドレスを計算する必要があります。しかし、将来、この基本的なクラスのフィールド構造が変わるとは思いません。

メモリからオブジェクトを読み取る方法、アドレスを知っている、説明付きの.hファイルを持っているなど、技術的な問題については触れません。ソースはSourceForgeで入手できます。 pHelper構造により、デバッグされているプロセスのビット数を知ることができることに注意してください。そして、これは、ポインターのサイズが4バイトまたは8バイトである可能性があることを考慮する必要があることを意味します。 cv :: Matオブジェクトのすべてのフィールドを読み取ると、同じ方法で画像のコンテンツを読み取ることができます。そのアドレスはデータフィールドにあります。

表示文字列のフォーマット

さて、まだここにいるので、デバッガーによって表示される行を実際にフォーマットしましょう。そして、標準的な内部はあまりきれいに見えません。このようなことをしましょう：

画像レンダリング

実際、私たち全員がここにいて集まったもののために。これで画像ができたので、.NETを使用してレンダリングできます。古き良きWindowsフォームとC＃を使用しました。視覚化のためのダイアログを含むフォームは別のアセンブリにあり、System.Bitmapオブジェクトがコンストラクターで渡されます。それを構築するために、元のdllは/ clrスイッチを使用して.NETサポートで構築されました。これにより、C ++ / CLIを使用できました。

ネイティブライブラリから.NETダイアログを呼び出すのは難しく、自分でAppDomainを作成する必要があるのではないかと心配しました。ただし、スタジオ自体は.NETアプリケーションなので、何もする必要はありませんでした。すべてがすぐに機能したので、私は詳細に理解しませんでした。 ApartmentState :: STAパラメーターを使用して別のスレッドからダイアログを表示する必要があることに注意してください。そうしないと、たとえば、イメージをディスクに保存するために追加ダイアログを開くときに問題が発生します。

ここで、選択したアプローチの主な欠点に直面しています-ウォッチウィンドウへの出力をフォーマットするときに関数が呼び出されるか、ユーザーがエディターで変数の上にマウスを置いたときに関数が呼び出されるかどうかを判断できません。ウィンドウに画像を表示するたびに使用することはできません。

私が思い付く唯一の適切な解決策はこれです：ウィンドウは特別なキーが押された場合にのみ表示されます。つまり、Ctrl。それ以外の場合、出力文字列はフォーマットのみです。したがって、デバッグ中に画像を表示するには、Ctrlキーを押しながらエディターで変数をポイントすると、ウィンドウがポップアップ表示されます。曲がった、はい、しかし実際にはそれは使用するのに非常に便利であることが判明しました。

画像のあるウィンドウが表示されると、Visual Studioプロセスがブロックされます。正式には、デバッガーの出力をフォーマットする機能にあります。これは不快ですが、これには致命的なことは何もありません。同時に画像を勉強し、スタジオとやり取りし続ける必要はありません。

Visual Studioの統合

解決策がありますが、今はパッケージ化する必要があります。これには既存の拡張メカニズムが最適です。最初はVisual Studio 2010に重点を置いていたため、より汎用的なアドオンではなく、より新しい拡張機能を選択しました。

拡張機能の作成については十分に文書化されています。まず、 Visual Studio SDK （2010または2012用）が必要です。インストール後、新しいVisual C＃プロジェクト→拡張性→Visual Studioパッケージを作成できます。これにより、拡張機能に関する情報を要求するウィザードが起動します。

デフォルトでは、彼はメニューコマンド（メニューコマンド）、ツールバー（ツールウィンドウ）の作成、またはエディターの調整（カスタムエディター）を提供しています。これは必要ありません。実際、拡張子はVSIXファイルであり、これは単なるzipアーカイブです。 Visual Studioにインストールすると、ユーザーディレクトリの1つに解凍されます（詳細はこちら）。 MEFと対話するライブラリが存在する場合もありますが、他のファイルが存在する場合もあります。たとえば、Expression Evaluatorアドインを備えたライブラリです。

視覚化のためのフォームを含むアセンブリの読み込みには小さな問題があります。 Referencesに追加すると、実行可能ファイルdevenv.exeのあるディレクトリとGACで検索が行われます。これは拡張子を持つディレクトリにあるため、 Assembly :: LoadFrom関数を使用して手動で読み込む必要があります。その後、ダイアログが作成され、反射法を使用して表示されます。

メニューの[ツール]→[オプション]から変更できる設定を行いたいと思いました。これは、MSDNのマニュアルに詳しく説明されています。標準のキー/値グリッド、および任意の形状を作成する方法について説明します。

autoexp.datファイルに行を自動的に追加するには、最後のフォームが必要です。残念ながら、VSIX拡張機能のインストール時にコマンドを実行することはできません（サポートされている機能の表を参照）。したがって、拡張機能をインストールした後、ユーザーはこのページに移動して[エントリの追加]ボタンをクリックする必要があります。

autoexp.datファイルを見つけるには、Visual Studioがインストールされている場所を知る必要があります。レジストリで確認できますが、DTEを使用して自分で確認することをお勧めします。拡張からDTEオブジェクトを取得する方法はここに書かれています。 FullNameプロパティは、devenv.exeファイルへのフルパスを返します。

Visual Studio 2012には驚きました。ついに、廃止されたautoexp.datファイルの置き換えであるNATVISテクノロジーが提案されました。ドキュメント自体はまだありませんが、Microsoftブログに適切な説明があります。そして、後方互換性の栄光により、同じメカニズムを介してサードパーティのコードを呼び出す可能性が残りましたが、今ではLegacyAddin引数で示されています。私が見つけた唯一の説明はこの質問への答えにあります。この技術は最近発表されたと思われます。

NATIVSの大きな利点は、視覚化ルール（natvis拡張子を持つ個別のXMLファイルとして設計されている）が異なるディレクトリに分散できることです。カスタムを含め、拡張機能に含めることができます。これを行うには、拡張機能を構築するときに.nativsファイルをAssetsに追加するだけです。したがって、Visual Studio 2012のNativeViewer拡張機能には統合ページがなく、そのまま使用できます。

VSIX拡張機能のデバッグについて。非常に便利に実装されることがわかりました。 VSIXプロジェクトを実行すると、Visual Studioの実験コピーが開き、現在のバージョンの拡張機能がインストールされます。デバッグは正常に機能し、ソーススタジオでdllのネイティブコードをデバッグすることができました。これは実験コピーによってロードされました。

拡張機能はVisual Studio 2010にのみ登場したため、以前のバージョンでは手動でインストールする必要があります。マニュアルを書きましたが、良い方法で、もちろん、インストーラーを作成する必要があります。

おわりに

この記事では、開発プロセス中に遭遇した問題の解決策について説明しました。一般的な開発ツール向けであることは注目に値しますが、奇妙なことに、類似物はありません。まあ、少なくとも私はそのようなものを見つけることができませんでした。

この記事では、技術的な詳細にあまり注意を向けず、豊富なリンクでこれを補おうとしました。興味がある人は、ソースコードを見て質問をすることができます。ある側面が一般に十分に興味深いと思われる場合は、より詳細な記事を書くことができます。

この拡張機能が多くの人に役立つことを本当に願っています。誰かがプロジェクトの開発に参加したい場合は、書いてください。

Visual StudioでC ++コードをデバッグしながらOpenCVイメージを表示する