オンブルファブラは、ヨーロッパとアジアのシャドウシアターの伝統を組み合わせたプロトタイプアプリケーションです。 このアプリケーションは、 Intel RealSense SDKを使用して、ジェスチャによって制御されるシャドウを使用したインタラクティブなゲームを作成します。 開発プロセスでは、ゲームの作成者（Thi Binh Minh NguyenとPrefrontal Cortexのメンバー）のチームは多くの困難を克服しなければなりませんでした。 特に、 Intel RealSenseカメラが独自のBLOB検出アルゴリズムを使用してさまざまな手のジェスチャーを正確に認識できるようにする必要がありました。 複数のユーザーによる広範なテストが必要でした。

オンブルファブラプロジェクトは、Thi Binh Minh Nguyenによって学士号の教育プロジェクトとして考案されました。 次に、このプロジェクトは、設計会社であるPrefrontal Cortexの助けを借りて、ユーザー向けのカメラを搭載したPCまたはラップトップで実行される対話型インストールに変換されました。 Mingは、このプロジェクトに新しいインタラクティブレベルを与え、観客とプレイヤーの境界を消したいという要望があったと説明します。

プレイヤーは、影の操り人形が住む神秘的な2次元の世界にいることに気づきます。 ユーザーはさまざまな動物を画面に呼び出し、適切な形状、たとえばウサギの形で手を折ります。 次に、ユーザーは手の影を動かしてゲームの主人公を制御します。子供は、光のカラフルな断片を集めて祖母の視界を回復します。

Ombre Fabulaは2014 Intel RealSenseアプリチャレンジに参加し、2位になり、大使に負けました。

解決策と問題

開発者はより専門的なHIDデバイスの経験があり、ジェスチャー、顔追跡、音声認識の面でIntel RealSenseテクノロジーの幅広い機能に魅了されましたが、最終的にはOmbre Fabulaインターフェースではジェスチャーのみが使用されました。

userユーザーインターフェイスの作成

同時に、アプリケーションインターフェイスは別のインターフェイスを完成させることによってやり直されたのではなく、最初から手とジェスチャーを制御することに焦点を合わせてゼロから作成されました。 さらに、オンブルファブラプロジェクトは、影の劇場の伝統に従って、画像を壁に投影するインタラクティブなインスタレーションとして考案され、部屋の誰もが画像を見ることができるようになりました。


Ombre Fabulaプロジェクトは、可能な限り参加者が関与するルームインタラクティブインスタレーションとして構想されました。 ここで、ユーザーは鳥の形を作ります。

開発者の観点から見ると、ゲームの雰囲気に完全に没頭するには、ユーザーが壁に仮想の影を落とすという現実世界と仮想世界のつながりが重要です。 クラシックシャドウシアターの伝統に対する信頼性と近接性を高めるために、キャンドルライトが使用されます。

Ombre Fabulaのユーザーインターフェースは、意図的に極めて最小限に設計されています。アプリケーションで認識されるさまざまな手のジェスチャーを除き、ボタン、カーソル、画面上のメニュー、またはコントロールは一切ありません。 このアプリケーションは、ユーザーに何をすべきかを指示できるホストが常に存在する、制御されたインストール環境での使用を目的としています。 このプロジェクトのデザイナーは、この種の大規模なインタラクティブインスタレーションを作成することが多く、オンブルファブラでは、インタラクティブギャラリーや他の同様の場所での感覚に匹敵する、ゲームの世界への短いながらも深い没入感をユーザーに提供することを意図的に試みました。 ユーザーとゲームの間の相互作用時間は意図的に十分に短いため、ホストからの直接の指示は、ゲームに組み込まれたトレーニング資料よりも、ユーザーがゲームの世界にすばやく慣れるためにはるかに効率的に機能します。 影だけで構成されるユーザーインターフェイスは、ゲームの雰囲気と影の劇場の伝統へのより深い没入にも貢献します。


ユーザーは手を右に動かして、ゲームの主人公を祖母の家から持ってきます。

▍手追跡の実装

開発の初期段階で、ゲームの作成者は、手のひらと指を追跡するIntel RealSense SDKの機能を使用して、ウサギ、鳥、またはドラゴンの形などの単純な形に折り畳まれた手のジェスチャーを認識しました。 これらの数字が選ばれたのは、このアプリケーションが作成されたシャドウシアターのスタイルで最も伝統的であり、ユーザーにとってそのような数字が最もシンプルで直感的だからです。 ウサギの図を作成するには、片手の親指と人差し指をつなぎ、中指と薬指をまっすぐにしてウサギの「耳」を描く必要があります。 鳥の形を得るには、両手の親指を握り締め、指を「翼」のように横に伸ばします。 ドラゴンの姿を得るには、「閉じた歯のあご」を得るために、両手を合わせる必要があります。


簡単な手のジェスチャーで、ウサギ、鳥、ドラゴンを作成できます。

しかし、Intel RealSense SDKアルゴリズムは不均一な可視性のために影を正しく処理できないことがすぐに明らかになりました。指は同じ平面内で一緒になって交差しました。 Intel RealSenseカメラは、最も単純なジェスチャー（5本の指が開いている、人差し指と中指のある「V」サイン、親指が上がっているなど）を認識しましたが、より複雑な動物の形状を認識するには不十分でした。

そのため、開発者は、Intel RealSense SDKの組み込みのハンドトラッキング機能を放棄し、手の輪郭を追跡するblob検出アルゴリズムを使用する必要がありました。 このアルゴリズムは、左側の画像などのラベル付き画像を生成し、その後、Intel RealSense SDKがこの画像の輪郭を提供します。


この図では、鳥、ドラゴン、ウサギのジェスチャーが手の輪郭をマークして示されているため、オンブルファブラはさまざまなジェスチャーを認識します。

最初、Intel RealSense SDKから必要なループデータを抽出するのは簡単ではありませんでした。 Unity *統合は、手のひらと指の追跡には最適ですが、効率的な追跡には適していません。 ただし、ドキュメントを読んでIntel RealSense SDKを使用した後、開発者は非標準の形状を認識するために必要な詳細な輪郭データを抽出する方法を学びました。


ユーザーは、ウサギの形をした指を置いて、影のウサギの人形が画面に表示されるようにします。


ユーザーは手を動かしてウサギをゲームの世界に導き、黄色の光の点を集めます。

your独自のBLOB検出アルゴリズムを使用する

Intel RealSense SDKからBLOBデータを受け取った後、認識を3つの数字（ウサギ、鳥、ドラゴン）のそれぞれに対して効果的に機能させるために、このデータを単純化する必要がありました。 このプロセスは、予想よりも複雑であることが判明しました。 数値を単純化して、アプリケーションによる均一で正確な認識の可能性を高めるには、広範なテストと多くの改善が必要でした。

// Code snippet from official Intel "HandContour.cs" script for blob contour extraction int numOfBlobs = m_blob.QueryNumberOfBlobs(); PXCMImage[] blobImages = new PXCMImage[numOfBlobs]; for(int j = 0; j< numOfBlobs; j++) { blobImages[j] = m_session.CreateImage(info); results = m_blob.QueryBlobData(j, blobImages[j], out blobData[j]); if (results == pxcmStatus.PXCM_STATUS_NO_ERROR && blobData[j].pixelCount > 5000) { results = blobImages[j].AcquireAccess(PXCMImage.Access.ACCESS_WRITE, out new_bdata); blobImages[j].ReleaseAccess(new_bdata); BlobCenter = blobData[j].centerPoint; float contourSmooth = ContourSmoothing; m_contour.SetSmoothing(contourSmooth); results = m_contour.ProcessImage(blobImages[j]); if (results == pxcmStatus.PXCM_STATUS_NO_ERROR && m_contour.QueryNumberOfContours() > 0) { m_contour.QueryContourData(0, out pointOuter[j]); m_contour.QueryContourData(1, out pointInner[j]); } } } 

ループ取得コードは、Intel RealSense SDKから輪郭データを取得するために使用されます。

その後、単純化されたデータは$ P Point-Cloud Recognizer *アルゴリズムによって処理されました。 これは、手書きのストロークなどの文字認識によく使用される自由に利用可能なアルゴリズムです。 開発者は、このアルゴリズムにいくつかのマイナーな改善を加え、Unityで正しく機能させ、それを適用してOmbre Fabulaの手の形を決定しました。 アルゴリズムは（90％程度の確率で）ユーザーの手でどの動物の図が描かれているかを判断し、その後、認識された図が画面に表示されます。

 // every few frames, we test if and which animal is currently found void DetectAnimalContour () { // is there actually a contour in the image right now? if (handContour.points.Count > 0) { // ok, find the most probable animal gesture class string gesture = DetectGestureClass(); // are we confident enough that this is one of the predefined animals? if (PointCloudRecognizer.Distance < 0.5) { // yes, we are: activate the correct animal ActivateAnimalByGesture(gesture); } } } // detect gesture on our contour string DetectGesture() { // collect the contour points from the PCSDK Point[] contourPoints = handContour.points.Select (x => new Point (xx, xy, xz, 0)).ToArray (); // create a new gesture to be detected, we don't know what it is yet var gesture = new Gesture(contourPoints, "yet unknown"); // the classifier returns the gesture class name with the highest probability return PointCloudRecognizer.Classify(gesture, trainingSet.ToArray()); } // This is from the $P algorithm // match a gesture against a predefined training set public static string Classify(Gesture candidate, Gesture[] trainingSet) { float minDistance = float.MaxValue; string gestureClass = ""; foreach (Gesture template in trainingSet) { float dist = GreedyCloudMatch(candidate.Points, template.Points); if (dist < minDistance) { minDistance = dist; gestureClass = template.Name; Distance = dist; } } return gestureClass; } 

このコードは、$ Pアルゴリズムを使用して、ユーザーの手によってどの動物が表されているかを判断します。

テストと監視を通じてユーザーのフィードバックを早期に取得する

開発の非常に早い段階で、ゲームの作成者は、すべての人が手の形やサイズが異なるという事実は言うまでもなく、すべての人が動物の形をわずかに異なる方法で組み合わせることに気付きました。 ループ検出をデバッグするには、多くの人が関与する検出アルゴリズムをテストする必要がありました。

幸い、これが可能であることが判明しました。Mingは大学で勉強しているため、この大学の学生の中から約50人のボランティアを見つけて、アプリケーションのテストに招待することは難しくありませんでした。 ゲームは少数のジェスチャーを使用するため、このような人数は輪郭決定アルゴリズムを最適化し、ユーザーが手のジェスチャーで描写しようとしている動物を正確に認識する可能性を高めるのに十分でした。


手が左右に動くとカメラが動き、ゲームの主人公は影の世界で動物を追います。

画面上のユーザーの手の仮想影は、ゲームの雰囲気により完全に没頭するだけでなく、視覚的なフィードバックを形成します。 テスト中、開発者は、画面に表示された動物がユーザーが作成しようとしていたものではない場合、ユーザーはこの視覚フィードバックに反応し、希望する結果を達成するために異なる方法で指を折り曲げたことに気付きました。 このプロセスはユーザーにとって非常に直感的であり、開発者からのヒントは必要ありませんでした。

ジェスチャ認識に関連する一般的な問題の1つは、ユーザーが非常に迅速なジェスチャ（たとえば、親指を上げる）を行うことができ、アプリケーションが応答しなくなる可能性があることです。 オンブルファブラでは、ジェスチャは連続的です。目的の動物が画面上にあることが必要です。 テストの結果、ジェスチャは一定であるため、アプリケーションはジェスチャに正しく応答することができました。 ジェスチャーに対するアプリケーションの応答性に関して、最適化は必要ありませんでした。

Ombre Fabulaは、6〜10分間続く短期のゲームセッション用に最適化されています。 テストに関与した人々は、ユーザーは一定の時間手を離さないことに自然に慣れているため、手と腕に疲労はないと指摘しました。

内部：ツールとリソース

対話型インストールの作成におけるこれまでの経験は、開発者がビジョンを翻訳するためのツールとソフトウェアコンポーネントに関する正しい決定を下すのに役立ちました。

▍IntelRealSense SDK

Intel RealSense SDKは手の輪郭を一致させるために使用されたため、SDKに含まれる輪郭を追跡するためのドキュメントは非常に便利でした。 開発者は、組み込みのハンドトラッキング機能を最初に使用しようとしたときに、Intelが提供するUnityサンプルも使用しました。 手の追跡だけでは十分ではなかったため、画像に切り替えて、Blobを追跡する独自のアルゴリズムを実装しました。

▍Unityソフトウェア

MingとPrefrontal Cortexチームのメンバーはどちらも主にデザイナーであると考えています。プラットフォームの開発とコードの作成に時間を浪費せず、アイデアを実用的なプロトタイプにすばやく変換することが重要です。 この点で、Unityプラットフォームにより、迅速にプロトタイプを作成し、開発の次の段階に進むことができました。 さらに、Intel RealSense SDKの一部であるIntel RealSense Unityツールキットは使いやすく、すぐに使い始めることができます。

P $ P Point-Cloud Recognizer

$ P Point-Cloud Recognizerは、紙または類似のグラフィックデータに追加されるペンストロークの形状を（一定の確率で）決定する2次元ジェスチャ認識ソフトウェアアルゴリズムです。 このアルゴリズムは、ユーザーインターフェイスでジェスチャをすばやくプロトタイプ化するためによく使用されます。 開発者はこのアルゴリズムをわずかに変更し、Unityでそれを使用して、Ombre Fabulaでユーザーの手によって形成された形状を決定しました。 確率を数えて、アルゴリズムはユーザーが描写しようとしている動物を決定し、アプリケーションは動物の対応する画像を表示します。


ドラゴンを表示するには、このスクリーンショットに示すように、顎が表示されるように2つの手を折りたたむ必要があります。

オンブルファブラ：次は何ですか？

Ombre Fabulaには、ユーザーが作成および管理する他の動物の影のフィギュアをさらに開発および追加する潜在的な可能性がありますが、現時点では開発者はこのゲームの作業を継続する予定はありません。 彼らの究極の目標は、オンブレ・ファブラとの国際ツアーを手配し、最初から考案されたインタラクティブなインスタレーションの形で観客にそれを見せることです。

Intel RealSense SDK：見通し

Prefrontal CortexチームのFelix Herbstは、ジェスチャ制御システムをゼロから構築する必要があると確信しており、ほとんどの場合、既存のアプリケーションをジェスチャ制御に適応させようとすると、ユーザーに不便をもたらします。 彼は、可能なすべての管理インターフェイス（ジェスチャ制御を含む）のそれぞれの長所を分析し、アプリケーション開発に最適なモデルを選択することの重要性を強調しています。
適切に選択された、有用で効果的な対話方法は、自然なインターフェースを備えた技術の長期的な普及に不可欠です。 Herbstは、十分な数の開発者がIntel RealSenseテクノロジーの使用を開始すると、これらのタイプのインターフェースが将来広く普及すると考えています。