🚔 📐 👩‍👦 LinuxでKinectを倒す 💪🏼 🦏 🥢

これは、Microsoft Kinectと連携するC ++アプリケーションの開発に関するシリーズの2番目の記事です。このパートでは、Linuxでデバイスを動作させる方法と、アプリケーションでデバイスを使用する方法について説明します。

Kinectの最初の開発記事はここで読むことができます。最初の部分を読むことを強くお勧めします。これがないと、2番目の部分の印象が不完全になります。

はじめに

最初の記事で既に述べたように、Microsoftの公式SDKに加えて、サードパーティメーカーのライブラリがいくつかあります。

公式のSDKとは異なり、代替SDKはLinuxおよびMac OSでの開発に使用できます。
最も簡単に使用できるのはlibfreenectです（OpenNI、公式ドキュメントに従ってコンパイルおよびインストールされます。たとえば、最新のUbuntuで作業したくありませんでした。。公式文書に記載されていることはすべて真実であり、はい、機能します。

libfreenectをインストールする

Ubuntuの場合、libfreenectがバイナリパッケージとして利用できることは喜ばしいことです。これにより、インストール中の時間を大幅に節約できます。何も収集して構成する必要はなく、依存関係とライブラリ自体をインストールするだけです。例はそのまま使用できます。
しかし、インディアンは簡単な方法を探していないため、ソースからライブラリを構築するプロセスを検討します。このように良いことは何ですか？これにより、ライブラリに付属するサンプルのソースコードを取得し、何が何であるかを把握し、必要に応じてサンプルのソースコードを試すか、すべてがどのように機能するかについて質問がある場合はデバッグすることができます。
ビルドプロセス：

sudo apt-get install git-core cmake libglut3-dev pkg-config build-essential libxmu-dev libxi-dev libusb-1.0-0-dev git clone github.com/OpenKinect/libfreenect.git cd libfreenect mkdir build cd build cmake .. make sudo make install sudo ldconfig /usr/local/lib/ sudo glview

Ubuntu x64の場合、最後から2行目は/usr/local/lib64/ます。
その後、build / binフォルダーでサンプルを実行できます-ライブラリーの機能がよくわかります。

LinuxにwxWidgetsをインストールする

バイナリパッケージは、UbuntuのwxWidgetsでも使用できます（ただし、安定した2.8.xブランチでのみ使用できますが、作業には十分です）。パッケージlibwxgtk2.8-devをインストールすると、問題は解決します。

1つのジョブを2回実行しない方法

かつて、 Qtのモットーは「 Write Once、Run Anywhere」でした。同じものをwxWidgetsで整理するのもいいでしょう。しかし状況は、ソースコードに加えて、まだプロジェクトファイルがあり（最初の部分はVisual Studioからプロジェクトを取得しましたが、Linuxはほとんど役に立ちません）、新しいOSのコードのプラットフォーム依存部分を記述する前に、どのようにすればいいかですプロジェクトファイルの作成と構成を自動化します。 CMakeユーティリティはこれに役立ちます。
CMakeが良いのはなぜですか？まず、Linuxはすべて異なっています。マシン上のサードパーティライブラリが1つのパス上にある場合、すべての同僚またはユーザーがそこにあるという事実ではありません。出力pkg-configを使用する場合でも、一部のビルドパラメーターを変更する場合、手動で作成されたプロジェクトでは、新しいパラメーターを手動で作成する必要がある場所が多くあります。特定の作業マシン用に既に構成されているプロジェクトファイルを作成するCMakeを使用して、この小さな作業をすべて自動化することで、多くの時間を節約することもできます。
Windowsの場合、話は同じです。CMake自体がシステムにインストールされているかなり多数の異なるライブラリを検索できる場合、すべてのパラメーターを手で登録し、パラメーターが既に構成されたプロジェクトを生成する理由です。
実際にプロジェクトを生成することに加えて、CMakeのスクリプトでは、各プラットフォームの条件パラメーターを指定できます。たとえば、特定のOSのプロジェクトにファイルを含める/除外する、特定のOSに固有のサードパーティライブラリの依存関係を追加または削除するなど
いずれにしても、CMakeの使用に関するトピックは別の記事に値します。私たちの場合、CMakeスクリプトのリストでテキストをオーバーロードしないように、リポジトリへのリンクを提供します。

前回から得たものを要約しましょう：

ソリューションは、wxKinectHelper静的ライブラリとKinectTestテストアプリケーションの2つのプロジェクトに分かれています。
プロジェクトファイル（Visual Studio for WindowsおよびMakefile / CodeBlocks for Linux）は、CMakeユーティリティを使用して生成されます
wxKinectHelperプロジェクトにはwxKinectHelperクラスがあり、システム内のKinectデバイスの数を返し、そのインデックスでデバイス名を表示し、グラバークラスを作成することもできます
グラバークラスは、デバイスのカメラから画像（深度、色）をキャプチャし、プレイヤーの位置を受け取ることができます
新しいフレームまたはプレーヤーの位置に関する情報を受信すると、フォームクラスなどにサブスクライブできるイベントがトリガーされます
プレーヤーを描画するために、wxKinectHelperクラスが使用されます。これは、プラットフォームごとに個別の実装クラスを使用し、それによってブリッジパターンを実装します。
テストアプリケーションは1つのフォームで構成され、デバイスのリスト、深度センサーからの画像、カメラからのカラー画像、およびプレーヤーの位置を表示できます。

素晴らしい、みんな覚えている、今私たちはLinuxの下でlibfreenectの征服に進むことができます。

コーディング

ライブラリの初期化と初期化解除

APIを使用してKinectデバイスへのアクセスを開始する前に、 freenect_init()メソッドを呼び出して、関数が正常に完了した場合に、ポインターが初期化されたライブラリコンテキストを含む変数のアドレスを渡す必要があります。

FREENECTAPI int freenect_init( freenect_context **ctx, freenect_usb_context *usb_ctx);

デバイスでの作業が終了したら、 freenect_shutdown()関数を使用してライブラリコンテキストの初期化をfreenect_shutdown()する必要があります。

FREENECTAPI int freenect_shutdown(freenect_context *ctx);

ラッパーライブラリでは、 wxKinectHelperクラスがライブラリコンテキストの初期化と初期化wxKinectHelperを行っています。そのため、Linuxに切り替えた後、WindowsとLinuxで動作するクラスを個別に実装する必要がありました。

デバイスのリストを取得する

libfreenectで使用可能なデバイスの数を取得するには、 freenect_num_devices()関数を使用します。

FREENECTAPI int freenect_num_devices(freenect_context *ctx);

残念ながら、libfreenectには個々のデバイスの一意の名前を取得するためのAPIが含まれていないため、アプリケーション内のデバイスを何らかの方法で識別するには、次のようなデバイスインデックスを含む文字列値を返すなどの回避策を考え出す必要があります：

wxString KinectHelperImplFreenect::GetDeviceName(size_t index) { wxString name = wxT( "Unknown Kinect Sensor" ); if (m_Context) { name = wxString::Format(wxT( "Kinect %u" ), index); } return name; }

Kinect画像キャプチャ

libfreenectライブラリでKinectから画像をキャプチャするには、同期バージョンまたは非同期バージョンのAPIを使用する2つの方法があります。非同期オプションの場合、新しいフレームが到着すると、コールバック関数が呼び出され、着信バッファを処理できます。バッファのメモリは個別に割り当てることができます。または、ライブラリ自体が内部バッファを作成し、作業の完了時にメモリをクリアします。

画像のキャプチャを開始するには、 freenect_open_device()関数を呼び出す必要があります。この関数はパラメーターとして受け取ります。

ライブラリコンテキストポインター
関数が正常に完了した場合、デバイスコンテキストを含む変数へのポインター
デバイスインデックス

FREENECTAPI int freenect_open_device( freenect_context *ctx, freenect_device **dev, int index);

画像のキャプチャを完了するには、 freenect_close_device()関数を呼び出す必要があります。

FREENECTAPI int freenect_close_device(freenect_device *dev);

APIは「非同期」ですが、制御フローを手動で作成しないと実行できません。時々、libusbからイベントキューを処理するfreenect_process_events()関数を呼び出す必要があります。 wxWidgetsアプリケーションでは、イベント処理フローは次のように編成できます。

wxThread::ExitCode KinectGrabberFreenect::Entry() { int status(0); while (!GetThread()->TestDestroy() && status >= 0) { status = freenect_process_events(m_Context); } return NULL; }

深度バッファの取得

深度バッファ付きのフレームの受信を開始するには、デバイスの動作モードを構成するいくつかの関数を呼び出す必要があります。

freenect_set_depth_callback()を使用して、新しいフレームが深度バッファーで到着したときに呼び出される関数を指定できます。
freenect_set_depth_buffer()を使用して、libfreenectがデバイスから深度インジケーターを記録するメモリ領域を設定できます（これはオプションの手順ですが、データの後処理が必要な場合はこの関数を使用すると便利です）
freenect_set_depth_mode()関数を使用して、デバイスの動作モードを設定する必要があります。 freenect_frame_mode構造体は、この関数のパラメーターに渡され、目的の画像サイズとデータ形式に関する情報が含まれます。

freenect_resolutionの値は次のとおりです。

typedef enum { FREENECT_RESOLUTION_LOW = 0, /**< QVGA - 320x240 */ FREENECT_RESOLUTION_MEDIUM = 1, /**< VGA - 640x480 */ FREENECT_RESOLUTION_HIGH = 2, /**< SXGA - 1280x1024 */ FREENECT_RESOLUTION_DUMMY = 2147483647, /**< Dummy value to force enum to be 32 bits wide */ } freenect_resolution;

そして、このようなfreenect_depth_formatの場合：

typedef enum { FREENECT_DEPTH_11BIT = 0, /**< 11 bit depth information in one uint16_t/pixel */ FREENECT_DEPTH_10BIT = 1, /**< 10 bit depth information in one uint16_t/pixel */ FREENECT_DEPTH_11BIT_PACKED = 2, /**< 11 bit packed depth information */ FREENECT_DEPTH_10BIT_PACKED = 3, /**< 10 bit packed depth information */ FREENECT_DEPTH_DUMMY = 2147483647, /**< Dummy value to force enum to be 32 bits wide */ } freenect_depth_format;

説明からわかるように、libfreenectでは、Microsoftの公式SDKとは異なり、深度値には12ビットではなく11ビットのみが使用されます。プレーヤーインデックスを取得する方法もありません。

カラー画像を取得する

原則として、デバイスをセットアップしてカラー画像を取得するためのアルゴリズムは、深度バッファーを取得するためのアルゴリズムに似ており、関数freenect_set_video_callback() 、 freenect_set_video_buffer()およびfreenect_set_video_mode()のみがそれぞれ使用されます。

画像キャプチャに関するいくつかのより一般的な情報

上記のすべての後、画像キャプチャの初期化コードを見てみましょう。

if (freenect_open_device(m_Context, &m_Device, ( int )m_DeviceIndex) < 0) break ; freenect_set_depth_callback(m_Device, KinectGrabberFreenect::DepthCallback); freenect_set_video_callback(m_Device, KinectGrabberFreenect::VideoCallback); freenect_set_video_mode(m_Device, m_VideoMode); freenect_set_depth_mode(m_Device, m_DepthMode); m_VideoBufferLength = m_VideoMode.bytes; m_DepthBufferLength = m_DepthFrameSize.GetWidth() * m_DepthFrameSize.GetHeight() * 3; m_VideoBuffer = new unsigned char [m_VideoBufferLength]; m_DepthBufferIndex = 0; m_GotDepth = false ; m_DepthBuffers[0] = new unsigned char [ m_DepthFrameSize.GetWidth() * m_DepthFrameSize.GetHeight() * 3]; m_DepthBuffers[1] = new unsigned char [ m_DepthFrameSize.GetWidth() * m_DepthFrameSize.GetHeight() * 3]; freenect_set_video_buffer(m_Device, m_VideoBuffer); DeviceHash[m_Device] = this ; freenect_start_video(m_Device); freenect_start_depth(m_Device);

なぜなら深度バッファのデータ形式はわずかに異なり、深度値をグレースケールに変換する機能も少し変更されています。

unsigned char KinectGrabberFreenect::GetDepthValue(unsigned short data) { // 0x7ff is 0000011111111111 in binary format - max value for 11bit depth; return ( double )255 * ( double )data / ( double )0x7ff; }

説明されているすべてのアクションの結果として、新しいクラスのグラバーが作成されました。これはLinuxで非常にうまく機能します。残念ながら、libfreenectにはプレーヤーの位置を取得するためのAPIはありません。これらの目的のために、たとえばOpenCVに基づいたサードパーティ（または独自の）開発を使用する必要があります。しかし、これは、たとえば動きの認識には十分です。

結論として

私たちは今のところ理論で終わると思います。次のパートは練習です。
Kinectを使用するためのサンプルおよびラッパーライブラリのすべてのソースコードは、ここからダウンロードできます。
Windowsのプロジェクトファイルは、Linuxのbuild / cm.batスクリプトを使用して生成できます-build / cmLinux.sh
また、LinuxおよびMac OS用のOpenNIを使いこなすための支援を拒否しません。

LinuxでKinectを倒す