Intel RealSenseカメラとIntel RealSense SDKを使用してシンプルなカラー画像ストリームアプリケーションを作成する予定ですか、それともアプリケーションの1つでカラー画像ストリームを使用するだけですか？ 操作を追跡し、直接行動し、膨大な追加コードなしで、学習したいことから気を散らす、わかりやすいアプリケーションが必要ですか？ この場合、ここで正確にこの結果を達成しようとしたので、あなたは幸運です：アプリケーションの簡単で​​効果的な例と、カメラとSDK Intel RealSenseの使用法を説明するドキュメントを作成しようとしました。
この例は、C＃でIntel RealSense SDK R4およびVisual Studio *を使用して記述されており、R5リリースでテストされています。 Intel RealSense F200カメラが必要です。

プロジェクト構造

このシンプルなアプリケーションでは、Intel RealSense SDKの機能をWindows * Formグ​​ラフィカルユーザーインターフェイスコードから分離しようとしたため、開発者が画像ストリーミングに関連するSDK機能に集中するのがより便利になります。 これを行うために、C＃（RSStreaming）でラッパークラスを作成し、その中にいくつかのIntel RealSense SDKクラスを含めました。

Windowsフォームアプリケーションには、いくつかのボタンと、カラーイメージストリームを表示するPictureBoxコントロールのみが含まれています。

私は完璧なアプリを作成しようとしているのではないことに注意してください。 特定の例外処理ツールを追加しましたが、これに限定しました。 正しいプログラミングの原則を適用し、アプリケーションの安定性とユーザーの利便性を実現したい場合は、他のすべてがすでに懸念事項です。

プロジェクトの構造は、データ伝送のためのイベントの使用に依存しています。その結果、密接な結びつきなしで行うことが可能です。 EventArgを継承する補助イベントクラスRSNewImageArgが作成されました。 現在のフレームをカメラからクライアントアプリケーションに公開するために使用されます。

はじめに

仕事には、Intel RealSense F200カメラが必要です。 Intel RealSense SDKバージョンR4以降も必要です。 さらに、適切なDepth Camera Manager（DCM）パッケージをコンピューターにインストールする必要があります。 SDKおよびF200 DCMはここからダウンロードできます 。

必要条件

ハードウェア要件

• 第4世代Intel®Core™プロセッサー（Haswell Microarchitectureに基づく）。
• 8 GBのハードディスク空き容量。
• Intel RealSense F200カメラ（USB 3ポートに接続する必要があります）。

ソフトウェア要件

• 64ビットバージョンのMicrosoft Windows 8.1またはWindows 10オペレーティングシステム。
• Microsoft Visual Studio * 2010–2015、最新のサービスパック。
• C＃開発用Microsoft .NET * 4.0フレームワーク。
• Unity * 5.x以降、Unityエンジンでゲームを開発するため。

プロジェクトのコンポーネント

RSNewImageArg.CS

RSNewImageArgは、C＃EventArgsクラスから派生しています。 ご覧のとおり、これは1つのプライベートデータ要素が追加される小さなラッパークラスです。 このプライベートBitmap _bitMapデータ項目には、カメラストリームから抽出された現在のビットマップが含まれています。
このクラスは、 RSStreamingクラスがFormクラスにイベントを送り返すときにイベントへの引数として使用され、新しいビットマップを表示する準備ができたことを示します。

RSStreaming.CS

RSStreamingは、Intel RealSenseカメラからのカラー画像データを持つラッパークラス（一種の「エンジン」）です。 このクラスは、次の目標で作成しました。

• できるだけ多くのIntel RealSense SDK機能を明確かつ明確に強調し、クライアントアプリケーションから可能な限り分離します。
• 読者がコードが何をしているのかを理解できるように、コードにコメントを提供してください。

以下は、 RSSpeechEngineクラスに含まれるすべての関数について説明しています。

パブリックイベントEventHandler <RSNewImageArg> OnStreamingImage

OnStreamingImageイベントは、メッセージをクライアントアプリケーションに切り替えて、新しいカラービットマップを表示する準備ができたことを通知する役割を果たします。 クライアントは、 RSNewImageArgオブジェクトを処理するイベントハンドラーを作成します。

初期化されたパブリックブール

getterプロパティはフラグとして使用され、 RSStreamingクラスが初期化されていることを示します。

パブリックブールIsStreaming

検索メソッドのプロパティはフラグとして使用され、 RSStreamingクラスが現在カラー画像データをストリーミングしていることを示します。

public void StartStreaming（）

クラスが初期化されているかどうかを確認します。 そうでない場合は、 InitCameraを呼び出して、クラスが稼働中であることを確認します。 次に、この関数は_senseManager.StreamFrames（...）関数を呼び出します。
Intel RealSenseのアプリケーションの開発に関する十分な情報を取得できた場合、カメラからのデータの受信は、whileループで実行されることが多いことに気づいたでしょう。 たとえば、次のようなものです。

while (!Stop) { /* Wait until a frame is ready: Synchronized or Asynchronous */ if (sm.AcquireFrame(Synced).IsError()) break; /* Display images */ PXCMCapture.Sample sample = sm.QuerySample(); /* Render streams */ EventHandler<RenderFrameEventArgs> render = RenderFrame; PXCMImage image = null; if (MainPanel != PXCMCapture.StreamType.STREAM_TYPE_ANY && render != null) { image = sample[MainPanel]; render(this, new RenderFrameEventArgs(0, image)); } if (PIPPanel != PXCMCapture.StreamType.STREAM_TYPE_ANY && render != null) render(this, new RenderFrameEventArgs(1, sample[PIPPanel])); /* Optional: Set Mirror State */ mirror = Mirror ? PXCMCapture.Device.MirrorMode.MIRROR_MODE_HORIZONTAL : PXCMCapture.Device.MirrorMode.MIRROR_MODE_DISABLED; if (mirror != sm.captureManager.device.QueryMirrorMode()) sm.captureManager.device.SetMirrorMode(mirror); sm.ReleaseFrame(); /* Optional: Show performance tick */ if (image!=null) timer.Tick(PXCMImage.PixelFormatToString(image.info.format)+" "+image.info.width+"x"+image.info.height); } 

はい、これは堅実なコードです。 このコードは、私のサンプルアプリケーションよりもはるかに多くのことを行いますが、私のwhileループはそのようには使用されていません。 私のアプリケーションは、 StreamFrames（...）関数を使用します。 この関数は、内部でwhileループを処理し、各フレームにはRSStreamingRGBがサブスクライブするイベントが含まれます。 このように動作します。

1. フローPXCMSenseManager.StreamFrames（...）を開始します 。
2. イベントハンドラでイベントをキャッチします。
3. ストリーミングの最後に、 PXCMSenseManager.Close（）を呼び出します。

whileループを手動でいじり、ループを停止するタイミングと方法を知りたくないため、このアプローチが気に入っています。 私の代わりにSDKに任せてください。 InitCamera（）関数について説明すると、この手法がどのように機能するかがわかるので、ここでは説明しません。 データストリームを転送する方法を理解し、SDKがカメラから送られてくる生データのループを制御できるようにするだけです。

StreamFramesを呼び出した後、 _isStreamingブールフラグをtrueに設定して、ストリーム転送の開始をクラスとクライアントアプリケーションに通知します。

public void StopStreaming（）

ストリーミングの停止は、StartStreamingの反対です。 この関数は、カメラからのデータの送信を停止するSDKコマンドを提供し、 Dispose（）を呼び出してデータオブジェクトを破棄します。

プライベートボイドInitCamera（）

InitCamera（）はPXCMSenseManagerのインスタンスを作成し、必要なストリームのタイプを含めます。 ご覧のとおり、毎秒30フレームの速度で320 x 240の解像度を持つカラー画像のストリームを示しています。
覚えているなら、PXCMSenseMangerのイベントを使用して、利用可能なカラー画像データの新しいフレームが利用できることをクラスに通知する可能性について話しました。 これを行うには、 PXCMSenseMananger.Handlerイベントクラスを使用します。 プロセスは非常に簡単です。Handlerクラスのインスタンスを作成し、 onNewSampleを介してイベントハンドラーに割り当ててから、 PXCMSenseManagerオブジェクトを初期化します。 _senseManangerとハンドラークラス。
次に、 _initializedフラグをtrueに設定します。 前述のように、このフラグを使用して、このクラスまたはクライアントアプリケーションにRSStreamingクラスが初期化されたことを通知します。

プライベートpxcmStatus OnNewSample（）

これは、 PXCMSenseMananger.Handler（）オブジェクトのイベントハンドラーです。 覚えているなら、 InitCamera（）関数で、この関数のオブジェクトイベントハンドラーを定義します。
イベントハンドラは、指定された関数シグネチャと一致する必要があります。 関数はpxcmStatusを返し、2つのパラメーターを取る必要があります。

• 半ば。 ストリーム識別子。 EnableVideoStream s関数を介して複数のストリームが要求される場合、 PXCMCapture.CUID + 0 、 PXCMCapture.CUID + 1などになります。
• サンプル 利用可能な画像。

PXCMCapture.Sampleオブジェクトを、クライアントアプリケーションで表示できる使用可能なビットマップに変換する必要があります。

まず、 sample.colorオブジェクトが空ではなく、 _colorImageDataクラスの内部ビットマップも空ではないことを確認します。 _colorImageDataにデータが含まれていないことを確認する必要があります。データが含まれている場合は、それを解放する必要があります。

次に、 sample.colorsオブジェクトを使用して_colorImagedataを設定する必要があります。 これは基本的に、 PXCMCapture.Sampleカラーイメージオブジェクトのメタデータオブジェクトです。 その後、サイズを指定してビットマップ画像の作成に進むことができます。
ラスターイメージを受け取って空でないことを確認したら、 OnStreamingImageイベントをオンにして、イベントのソースと新しいRSNewImageArgオブジェクトを示します。

最後に、現在のフレームをPXCMSenseManangerオブジェクトから解放する必要があります。また、これは関数の署名に必要なため、 pxcmStatusを返します 。 この時点で、例外を処理するコードを追加できますが、簡単にするためにこれを行わないことをお勧めします。 そのようなコードを書いた場合、 pxcmStatusの異なる状態を返すことができますが、成功状態を返すだけです。

private void Dispose（）

Dispose（）はクリーンアップを実行します。 ディスパッチャーが空ではなく、初期化されていることを確認します。 両方の条件が満たされている場合、彼のクリーニングメソッドを呼び出します。 RSStreamingビットマップが空でないことを確認し、クリアします。 次に、どこでもnullを設定します。

MainForm.CS

メインフォームは、カラーイメージストリームを表示するグラフィカルユーザーインターフェイスです。 その中で、 RSStreamingオブジェクトを制御できます。 RSStreamingRGBのインスタンスとビットマップの2つのグローバル変数があります。 ビットマップには、 RSStreamingRGBクラスによって送信される現在のフレームの現在の画像が含まれます。

パブリックMainForm（）

フォームのコンストラクター。 新しいRSSTreamingRGBオブジェクトを作成し、イベントハンドラーでOnStreamingImageイベントを提供します。

プライベートボイドbtnStream_Click（）

[ストリーミングの開始]ボタンをクリックしたときのイベントハンドラー。 _rsStreamingオブジェクトにコマンドを与えて、 このオブジェクトのStartStreaming （）関数を呼び出してストリームの送信を開始します。

プライベートボイドbtnStopStream_Click（）

[ストリーミングの停止]ボタンをクリックしたときのイベントハンドラー。 _rsStreamingオブジェクトにコマンドを与えて、このオブジェクトのStopStreaming（）関数を呼び出してストリームの転送を停止します。

private void UpdateColorImageBox（オブジェクトソース、RSNewImageArg e）

UpdateColorImageBox - _rsStream.OnStreamingImageイベントのイベントハンドラー。 newImage引数が空ではないことを確認し 、この場合_currentBitMapをnewImageをビットマップのソースとして使用して新しいビットマップに割り当てます。

新しいビットマップを作成しない場合、 _currentBitMapフォームはSDKによって作成された元のビットマップを指します。 このため、 RSStreaming.Disposeメソッドを呼び出すときに問題が発生する可能性があります。 クライアントプログラムには画像フレームがあり、このフレームにはSDKから取得した画像が表示されます。 画像のアクティブな形状とフレームを使用してRSStreaming.Disposeを呼び出そうとすると、SDKリソースが解放され、画像フレームの元の画像が削除されるためクラッシュします。

新しい画像を_currentBitMapに割り当てた後、 pictureBox.Invalidate（）を呼び出し、それによってPaint frame pictureイベントを発生させます。

private void pictureBox_Paint（オブジェクト送信者、PaintEventArgs e）

これは画像フレームのPaintイベントのハンドラーであり、 pictureBox.Invalidate（）を呼び出すことで切り替えられます。 現在のソース画像を使用して画像フレームを再描画するコマンドを提供します。
最初に、 _currentBitMapが空でないことを確認してから、 _currentBitMapに格納されている最新のビットマップを設定します 。

プライベートボイドbtnExit_Click（）

ここではすべてが基本です。 Close（）を呼び出すだけです。 これはすべてMainForm_FormClosingメソッドで行われるため、クリーンアップを処理する必要はありません。

プライベートボイドbMainForm_FormClosing（）

これは、イベントハンドラーを閉じるフォームイベントです。 特定の関数でClose（）メソッドを呼び出すと、 FormClosingイベントが発生します。 コードを複製しないように、ここにすべてのクリーニングコードを投稿しました。 _rsStreamが空ではなく、ストリームが送信されていることを確認してください。 これらの条件が満たされている場合は、 _rsStream.StopStreaming（）を呼び出します。 必要なものはすべてStopStreamingで既に行われているため、 _rsStreamingのクリーンアップメソッドを呼び出す必要はありません。

おわりに

この記事とサンプルコードがあれば、Intel RealSense SDKを使用して簡単なカラーイメージングアプリケーションを作成する方法をよりよく理解できます。 私は、これがシンプルで理解可能なアプリケーションで行えることを実証しようとしました。それは、カラー画像を送信するための独自のアプリケーションの作成を成功させるために必要なすべての要素を実装します。