Google Device Labの受賞者：Project Tangoの探索

こんにちは同僚！ 私たちの小さな会社Vizerraは、さまざまな顧客向けに、拡張現実および仮想現実（以下ARVR）の分野でカスタムプロジェクトと自社製品を開発しています 。 ほとんどすべてのプロジェクトで、新しい予想外のソリューションを考え出す必要があります。 ARVR市場は非常に若く、プロジェクト中に多くのソリューションが作成されます。 したがって、その開発が発生します。


Google Lab Labコンテストの一環としてAlexander Lavrovが受賞した記事 。

この点で、プロジェクトでの使用を念頭に置いて新しい機器を常に試しています。 今日は、Project Tangoなど、ロシアのインターネット上で既に有名であるが照明が不十分なデバイスについてお話したいと思います。 ごく最近、それはタンゴになり、彼の人生の商業段階への移行を示し、エンドユーザー向けのデバイスが登場し始めました。

Project Tangoとの知り合いは、この春に始まりました。このアイデアは、多くのプロジェクトでマーカーレストラッキングを試みることから始まりました。

実験用のデバイスを入手するのは非常に難しいことがわかりました。 Skolkovo Foundationは、ロシアのGoogleオフィスを紹介してくれました。 男たちは非常に反応がよく、希望するデバイスを手に入れました。

必要な結果を迅速に達成し、 Startup Villageでテストを行い、達成感を持ってデバイスをGoogleに返しました。

数か月前に、 Google Device Labが開始されたことを知りました。私たちは、お金を払ってお金を払う必要があると判断しました。 記事を書く過程で、その概念は数回変更されました。 次のプロジェクトについて説明するのではなく、いつものように便利なことをしたかったのです。 その結果、授与後、私たちはパックしたすべてのバンプを考慮に入れて、Project Tangoのロシア語の完全なレビューを書くことが最も役立つと判断しました。 次に、この記事を読んだ後に読者がかなり完全な絵を見ることができるように、異なるソースを結合し始めました。

そして、これをもっと楽しくするために、過去のプロジェクトの 1つである軍用機器のアニメーションミニチュアモデルをコンテンツとして使用しました。

ハードウェア

まず、デバイス自体が何であるかを見てみましょう。

テストの時点で、利用可能な2つの変更がありました。

1. タブレット「イエローストーン」。 通常、人々がタンゴについて話すとき、彼らの大多数はそれを想像します。
2. 電話「ピーナッツ」。 正直なところ、私たちは本当にそれを自分の手で持っている人は誰も知りません。

Project Tangoタブレット開発キットの一部である、実験用の7インチYellowstoneタブレットを入手しました。

基本的なタブレット自体は、原則として驚くことではありません。 このデバイスには、2.3 GHzクアッドコアNvidia Tegra K1プロセッサ、128GBフラッシュメモリ、4メガピクセルカメラ、1920x1200のタッチスクリーン解像度、4G LTEが含まれています。

オペレーティングシステムはAndroid 4.4（KitKat）を使用します。 5.0未満のシステムにはすでに慣れていません。 昨年、顧客の最小要件はAndroid 5.0を搭載したデバイスのサポートでした。

デバイスは開発キットの一部であり、エンドユーザー向けのデバイスではないことに注意してください。 プロトタイプの場合、見栄えがよく、使用するのに便利です！ デバイスの充填は最新のものとはほど遠いですが、デバイスは完全に機能します。 明らかに、シリアルデバイスでは、Tangoプラットフォームを使用するエンドメーカーは、最新のハードウェアとOSを簡単に使用できます。

組み込みセンサーのセットは、はるかに興味深いように見えます。 現時点では、これが最も「ポンピングされた」タブレットのようです。 それらがどの程度正確に使用されているかをさらに検討します。

• 魚眼モーション追跡カメラ
• 3Dデプスゲージ
• 加速度計
• 環境光センサー
• バロメーター
• コンパス
• GPS
• ジャイロスコープ

次の図では、デバイス上の外部センサーの位置を考慮することができます。



「実際に内部にあるもの」を見たい人のために、組み立てられていないデバイスの写真を添付し​​ます。 彼らは自分でそれをしませんでした。 面白い写真を撮ってくれたslashgear.comの同僚に感謝します。



Googleは、TangoとAndroidはリアルタイムハードウェアシステムではないと警告しています。 主な理由は、Android Linuxカーネルがデバイス上のプログラムの実行時間を保証できないことです。 このため、Project Tangoはリアルタイムソフトウェアシステムと見なすことができます。

デバイスの動作原理

開発中に後で説明する内容を明確にするために、デバイスの動作原理を理解しましょう。

まず、Tangoはあらゆる場所で表示されている実験的なタブレットではなく、コンピュータービジョンを使用してデバイスが周囲の世界との関係でデバイスの位置を理解できるようにする新しいスケーラブルなプラットフォームであることを理解する必要があります。 つまり、スマートフォンまたはタブレットの通常のセンサーにコンピュータービジョンセンサーが追加されることを前提としています。

このデバイスは、人間の視覚装置を使用して部屋に入る方法を見つけ、部屋のどこにいるか、床、壁、周囲の物体を知る方法と同様に機能します。 これらの洞察は、私たちが日常生活の中でどのように空間を移動するかに不可欠な部分です。

Tangoは、モバイルデバイスに、モーショントラッキング（モーショントラッキング）、エリアラーニング（空間領域の研究）、および深度知覚（深度知覚）の3つの主要な技術を使用して、周囲の世界での位置を決定する機能を提供します。 それぞれに独自の独自の機能と制限があります。 これらを組み合わせることで、環境内でデバイスを正確に配置できます。

モーショントラッキング

このテクノロジーにより、デバイスは3D空間での独自の動きと方向を追跡できます。 必要に応じてデバイスを歩き回ることができます。デバイスがどこにあり、どの方向に移動しているかがわかります。

この技術の結果は、空間内のデバイスの相対的な位置と方向です。

モーショントラッキングの重要な用語は、デバイスの位置と方向の組み合わせであるポーズです。 用語は、率直に言って、非常に具体的に聞こえます。おそらく、Googleは、ヒューマンマシンインターフェイスを改善したいという要望を強調することにしました。 通常、姿勢とは、人体がとる位置、体、頭、手足の位置のことです。

Tango APIは、ユーザーのデバイスの位置と方向を6自由度で提供します。 データは、移動用のメートル単位のベクトルと回転用の四元数の2つの主要部分で構成されています。 ポーズは、パスポイントの特定のペアに対して指定されます。 参照システムが使用されます-参照ボディの全体、それに関連付けられた座標システム、および時間参照システム 。これに関連して、ボディの動きが考慮されます。

これは、Tangoのコンテキストでは、特定のポーズを要求するときに、移動のベースポイントに対して相対的に移動するターゲットポイントを示す必要があることを意味します。

Tangoは、視覚慣性走行距離計（視覚慣性走行距離計またはVIO）を使用してモーショントラッキングを実装しています。

オドメトリは、カメラ（またはカメラ）に取り付けられた一連の画像を分析することにより、ロボットまたはその他のデバイスの位置と方向を評価する方法です。 標準の視覚オドメトリでは、カメラの画像を使用して、これらの画像のさまざまな視覚的特徴の相対位置を検索することにより、デバイスの位置の変化を検出します。 たとえば、遠くから建物の写真を撮り、それから近い距離から別の写真を撮った場合、写真内の建物のスケールと位置の変化に基づいてカメラの移動距離を計算できます。 以下に、視覚的な兆候のそのような検索の例を含む画像を見ることができます。



画像はNASAの所有物です。

視覚慣性オドメトリは、デバイスの回転と空間での加速度を追跡できる慣性モーションセンサーで視覚オドメトリを補完します。 これにより、デバイスは3D空間での方向と動きをさらに正確に計算できます。 GPSとは異なり、VIOを使用した追跡も屋内で機能します。 これが、比較的安価な屋内ナビゲーションシステムを作成するための多数のアイデアの出現の理由でした。

視覚慣性オドメトリは、標準のAndroid Game Rotation Vector APIと比較して空間方向の定義を改善します。 視覚情報を使用して、回転と線形加速度をより正確に評価します。 したがって、既知の問題を排除するために、以前から知られている技術の組み合わせが成功していることが観察されます。

上記のすべてが必要であるため、空間内で回転と追跡の位置を組み合わせる場合、アプリケーションの対応する3D空間でデバイスを仮想カメラとして使用できます。



モーショントラッキングはコアテクノロジーです。 使い方は簡単ですが、いくつかの問題があります。

• このテクノロジーは、ユーザーの身元を正確に把握していません。 タンゴでは、このタスクを担当する他のテクノロジーであるエリア学習と深度知覚を使用します。
  
  
• モーショントラッキングは、以前のセッションを「記憶」しません。 新しいモーショントラッキングセッションを開始するたびに、トラッキングが再び開始され、現在のセッションの開始位置に関連する位置が報告されます。
  
  
• また、実験で判断すると、デバイスを振るとトラッキングが失われます。 これは車でそれを使用したときに非常に明白でした。
  
  
  
  
• デバイスを長距離にわたって長期間にわたって移動すると、小さな誤差が蓄積され、空間内の絶対位置に大きな誤差が生じる可能性があります。 いわゆる「ドリフト」（ドリフト）が発生します。 これは、実世界から借用した別の用語です。 通常、この要件とは、風または流れの影響、および流れによって運ばれる氷の動きによる、航行中の船舶の航路からの逸脱を意味します。 ドリフトに対処するために、Tangoはエリアラーニングを使用してこれらのエラーを修正します。 この点については、記事の次の部分で詳しく検討します。

<img
src = " habrastorage.org/files/72c/374/358/72c37435811a46ecbce09b4ce4952b6c.png " align = "right" /> エリア学習

人々は自分がどこにいるかを認識でき、自分自身について知っている標識、つまり出入口、階段、テーブルなどに気づくことができます。 Tangoは、モバイルデバイスにも同じ機能を提供します。 モーショントラッキングテクノロジーのみの助けを借りて、カメラを介したデバイスは、エリアの視覚的特徴を「認識」しますが、それらを「記憶」しません。 エリア学習の助けを借りて、デバイスは「見た」ことを「記憶」するだけでなく、この情報を保存して使用することもできます。 この技術の結果は、すでに知られている空間でのデバイスの絶対的な位置と方向です。

Tangoは、Simultaneous Localization and Mapping（SLAM）メソッドを使用します。SLAMは、モバイルスタンドアロンツールで使用され、未知のスペースで地図を作成したり、現在の場所と移動距離を監視しながら既知のスペースで地図を更新したりする方法です。

公開されているアプローチは、自動運転車、無人航空機、自律型水中車両、惑星探査車、ホームロボット、さらには人体の内部で既に使用されています。

Tango Area学習のコンテキストでは、2つの重要なタスクを解決します。

1. モーショントラッキングを使用して取得した軌道の精度を向上させます。 このプロセスは「ドリフト補正」と呼ばれます。
   
   
2. 以前に調査した領域内でのデバイス自体の方向と位置。 このプロセスはローカリゼーションと呼ばれます。

これらのタスクがどのように解決されるかを詳しく見てみましょう。

ドリフト補正

前述したように、エリアラーニングは、デバイスが「見た」現実世界の領域の視覚的な兆候を記憶し、それらを使用して位置、方向、および動きのエラーを修正します。 デバイスは、セッションの前に見た場所を見ると、そのパスを理解して調整し、以前の観測と一致するようにします。

次の図は、ドリフト補正の例を示しています。



有名なタンゴ地域を歩き始めるとすぐに、実際に同時に発生する2つの異なる軌道を取得します。

• あなたがたどっている道（「本当の軌跡」）
• デバイスによって計算されたパス（「計算された軌跡」）

緑の線は、デバイスが実際の空間を移動する実際のパスです。 赤い線は、時間の経過とともに、計算された軌道が実際の軌道からどのように移動したかを示しています。 デバイスが原点に戻って、以前にこのエリアを見たことがあることに気付いた場合、ドリフトエラーを修正し、実際のパスによりよく一致するように計算されたパスを調整します。

ドリフト補正なしでは、実際の世界に従って仮想3D空間を使用するゲームまたはアプリケーションは、長時間の使用後の動きの追跡が不正確になる可能性があります。 たとえば、ゲームワールドのドアが現実世界のドアフレームに対応している場合、エラーにより、ゲームではドアが実際のドアフレームではなく壁に表示されることがあります。

ローカリゼーション

エリア学習を有効にして必要なエリアを通過した後、デバイスが「見たもの」をエリア記述ファイル（ADF）に保存できます。

エリアを調査し、ADFとしてロードすることにはいくつかの利点があります。 たとえば、これを使用して、デバイスの座標系を既存の座標系に合わせて、ゲームやアプリケーションの同じ物理的な場所に常に表示されるようにすることができます。 以下の画像は、デバイスが認識しているエリアの検索サイクルを示しています。



ADFを作成するには2つの方法があります。 最も簡単な方法は、 TangoExplorerアプリケーションを使用し、アプリケーションが結果のADFをダウンロードすることです。



また、Tango APIを使用してスペースを探索し、アプリケーション内でADFを保存およびロードできます。

エリア学習を使用する際に覚えておくべき多くの機能に注意する必要があります。

• タンゴは、ローカライズするエリアの視覚的な多様性に依存します。 多数の同一の部屋がある建物や、空の壁がある完全に空の部屋にいる場合、デバイスの位置を特定することは困難です。
  
  
• 環境は、さまざまな視点や位置とは完全に異なって見える可能性があり、時間とともに変化する可能性があります（家具は移動可能で、照明は時刻によって異なります）。 ローカライズ条件は、ADFが作成されたときに存在していた条件と類似している場合、成功する可能性が高くなります。
  
  
• 環境の変化に応じて、さまざまな条件で同じ物理的な場所に複数のADFを作成できます。 これにより、ユーザーは現在の条件に最も近いファイルを選択できます。 また、単一のADFに複数のセッションを追加して、あらゆる位置、角度から、照明のあらゆる変化や環境の変化とともに、環境の視覚的な説明をキャプチャすることもできます。
  
  

奥行き知覚

このテクノロジーを使用して、デバイスは環境の形状を理解できます。 これにより、仮想オブジェクトが実際の環境の一部であるだけでなく、この環境と対話できる「拡張現実」を作成できます。 たとえば、多くはすでに実空間でのコンピューターゲームを予測しています。



Tango APIは、カメラが取得するオブジェクトまでの距離に関するデータを点群の形式で提供します。 この形式は、（x、y、z）座標に、計算可能なシーン内のポイントの最大数を与えます。



各測定値は、シーンの深度をスキャンするカメラのフレーム内の各ポイントの位置をメートル単位で記録する浮動小数点値です。 点群は、RGBカメラから受け取った色情報に関連付けられています。 この関連付けにより、Tangoを3Dスキャナーとして使用する機会が得られ、ゲーム開発者やクリエイティブなアプリケーションにとって多くの興味深い機会が開かれます。 もちろん、スキャニングの精度は、数ミリの精度で得られる特別な3Dスキャナーと比較することはできません。 同僚の経験によると、Intel RealSense R200（タンゴで使用） の最大精度は2ミリメートルですが、それよりもはるかに悪い可能性があります。 被写体までの距離、撮影条件、表面の反射特性、動きに大きく依存します。 また、画像深度の精度を上げると信号のノイズが増加することを理解する必要がありますが、これは避けられません。

ただし、ゲーム内で衝突を発生させたり、実際のアパートに仮想家具を配置したり、結果の3D点群の現在の精度の距離を測定したりする場合は、十分です。



深度知覚を実装するには、広く普及している深度知覚技術のいずれかを選択できます。 Tangoはプラットフォームであり、3つのテクノロジーが含まれていることを思い出してください。



それぞれの説明は、別の大きな記事のトピックです。 タンゴでの彼らの役割とそれらの機能の一般的な原則を理解できるように、簡単に説明します。

構造化ライト

構造化された光は、既知のパターン（通常は格子または水平ストライプ）を実際のオブジェクトに投影します。 したがって、この既知のパターンが表面に重なると変形するため、コンピュータービジョンシステムは、デバイスに対するシーン内のオブジェクトの深度と表面に関する情報を取得できます。 構造化光を使用するよく知られた例は、3Dスキャナーです。



目に見えるパターンがシステムで使用されるコンピュータービジョンの残りの方法に干渉する場合、目に見えない構造化された光が使用されます。 これは、赤外線エミッターを使用するタンゴの場合です。

飛行時間

この技術は、赤外線が放射線源から物体に飛んでカメラに戻るまでの時間を決定することに基づいています。 表面までの距離が長いほど、時間がかかります。



ステレオ

この技術がタンゴにどのように配置されているかについての正確な情報は見つかりませんでした。 どうやら実装はかなり標準的であり、開発者はこれに焦点を合わせていなかったようです。 ある時点で、2つの写真、いわゆるステレオペアが撮影されます。 それらに基づいて、写真測量は表面までの距離を決定します。 したがって、たとえば、地球の起伏の高さの衛星画像が実行されます。



構造化光と飛行時間には、デバイスに赤外線（IR）エミッターとIRカメラの両方が必要であることに注意してください。 2台のカメラにはステレオテクノロジーで十分であり、赤外線エミッターは必要ありません。

現在のデバイスは、実際には、スキャンオブジェクトから中程度の距離（0.5〜4メートル）で屋内で動作するように設計されていることに注意してください。 この構成により、平均距離で十分な深さが得られますが、深さを処理する際の赤外線エミッターとデバイス自体のパフォーマンスに不要な電力要件はありません。 このため、非常に近いオブジェクトのスキャンやジェスチャ認識に頼らないでください。

IRカメラを使用して深度を検出するデバイスの場合、正確な操作が難しい状況があることを忘れないでください。

• 動きが速すぎる場合、タンゴは深さを構築する時間がないかもしれず、ゆっくりと動くよう丁寧に求めます。
  
  
• 動きが速すぎる場合、タンゴは深さを構築する時間がないかもしれず、ゆっくりと動くよう丁寧に求めます。
  
  
• 動きが速すぎる場合、タンゴは深さを構築する時間がないかもしれず、ゆっくりと動くよう丁寧に求めます。
  
  
  

タンゴとのプロジェクト

十分に詳細に調べたデバイスの動作原理。 それでは、理論から実践に移りましょう。 最初のプロジェクトを作成してみましょう。

TangoはUnity3Dゲームエンジン用のSDKを提供し、CまたはJavaを介してOpenGLおよびその他の3Dシステムをサポートします。 主にUnity3Dを作業に使用し、すべての例は開発環境でさらに作成されます。

unity3Dとの統合

Project Tango向けにUnity3Dでアプリケーションを開発するには、次のものが必要です。

• インストールされたAndroid SDK 17+
  
• Unity （5.2.1以降）、 Android開発用に構成された環境。
  
• Tango Unity SDK 。
  
• Windowsでは、デバイスが自動的に認識されなかった場合、 Google USBドライバーをインストールする必要があります。
  

プロジェクトの説明

私たちは、タンゴを使用して軍事装備のミニチュア配置を実装することにしました。 次の複雑な一連のアクションが計画されました。

• ユーザーはTangoタブレットを受け取ります。
  
• 機器を配置できる場所の画面上-不可能な緑のマーカーが描かれている-赤：
  
• 次の軍用機器の選択肢が提供されます。
  
• 配置されたテクニックは、タッチインターフェイスを使用して画面の平面内で移動でき、物理的な表面に沿って移動します。
  
• 配置したテクニックを削除できます。
  
• 制限が導入されました-機器の10個のコピーを配置し、モデルを十分に最適化して、この数を増やすことができます。 10個を超えるモデルがある場合、最初に配置されたモデルが置き換えられ、サイクルに沿ってさらに進みます。
  

彼らは、デモのインターフェースを最小限に抑えながら、ユーザーにとって理解しやすいものにすることを決定しました。



実装

基礎として、TangoSDK / Examples / AugmentedRealityのリソースをgithubで、モデルを既に実装されているプロジェクトから取得しました。



実装の説明

私たちの計画を実行するために、私たちの行動をステップで説明します：

-端末のカメラの画像を画面に表示すると、Tango AR Cameraがこれを支援します



-次に、仮想シーンでのデバイスの実際の動きが繰り返されることを確認する必要があります。モーショントラッキングテクノロジーがこれを担当し、ユニットシーンでTangoアプリケーションを構成する必要がある場合は、[ モーショントラッキングを有効にする]チェックボックスをオンにします。



バーチャルシーンで表現されている実際の表面にテクニックを配置したいので、バーチャルスペースを記述するデータがなければならないと想定できます。Tangoでは、Tango Point Cloudがこれを担当しているため、ステージに配置します。



-シーン階層の一般的なビューは次のようになります。

1. , — UI, EventSystem.
   
   
2. , , . , Prefabs.
   
   
3. ,
   
   

   ViecleSpawnScript 

   
   スクリプトへのモデルへのリンクを作成しました。 これで、ボタンはどのモデルがそれらに関連付けられているかを「認識」します。
   
   -次に、オブジェクトの配置、移動、削除を可能にするロジックを実装する必要があります。 クラスにロジックを実装しました
   
   

    VehicleSpawnRoot 

   
   以下にその設定を見ることができます：
   
   
   
   インスタンス制限 -配置されたモデルの最大数。
   モデルスケール -アレンジメント内のモデルのスケール 。
   Point Cloud -Tango Point Cloudオブジェクトへのリンク。
   マークの配置 -プレハブマーカーへのリンク。
   トレースレイヤーマスク -配置が可能なレイヤーを設定します。
   選択情報 -選択されたテクニックの名前を表示するためのインターフェース要素へのリンク。
   
   -作業中のアプリケーションでは、常にマーカーを描画する必要があります。通常モードのマーカーは、画面の中心から表面までのビームの終端に配置されます。 マーカーは、 PlacementMarkerシーンのオブジェクトによって表されます。
   
   -ビームの交点と交点の結果のデータが必要です。 非同期受信で行ったトレースの座標と結果を取得すると、コルーチンが関数で起動されます
   
   

    LazyUpdate 

   
   この機能では、ビームと点群タンゴの交差が決定されます。 Point Cloud TangoはTango自体を再構築するため、実際のポイントクラウドがあり、そこからデータを取得できます。
   

トレースの結果には、次の値が含まれる場合があります。

 enum ETraceResults { Invalid, //    NotFound, //   ,       NotGround, //     . ExistingObjectCrossing, //        Valid, //     } <ol> <li> 

ボタンを押してモデルを教室の表面に配置するには：

 VehicleSpawnRoot 

関数を作成します：

 public void Spawn( GameObject prefab ) 

配置用のモデルを備えたプレハブが関数に渡されます。 この関数は配置の可能性をチェックし、成功した場合、指定された座標でモデルを作成します。

-配置されたモデルを移動するための機能を作成する必要があります。 この関数は、モデルの移動を担当します。

 private void UpdateTouchesMove() 

これがどのように機能するかを簡単に説明します。関数では、タッチデータを取得します。

 Input.GetTouch( 0 ); 

シーン内に配置されたオブジェクトとの交差点を探し、成功した場合は、オブジェクトを次のようにマークします。

 Selected 

また、光線の始まりの位置を点群との交点を計算する関数に送信します。これは、画面上の指の位置と一致します。

さらに、画面内を移動する過程で、モデルは新しい位置にインストールされます。トレースの結果によりこれが可能になった場合、トレースは非同期メソッドで行われます

 LazyUpdate 

配置されたモデルを削除する機能を追加することは残っています。 一般に、すべてが準備ができている、実行できます！

詳細については、 gitHubのプロジェクトコードを参照してください。

Google Playでアプリを公開する

Tangoフレームワークを使用してアプリケーションを公開するには、Androidアプリケーションを公開するための標準プロセスに加えて、1つの追加手順が必要です。 アプリケーションをTango互換デバイスにのみインストールするには、アプリケーションマニフェストファイルに次の行を追加します。

 <application ...> ... <uses-library android:name="com.vizerra.tangolab" android:required="true" /> </application> 

TangoをサポートするデバイスとTangoをサポートしないデバイス用の単一のAPKを取得したい場合は、ランタイムでTango機能の可用性を確認し、アプリケーション自体に既にある機能を使用できます。

まとめ

そのため、理論の基礎からアプリケーションの公開までの道のりを進めてきました。
プラットフォームは既に商用目的で使用できると結論付けることができます。 かなり安定して動作します。 それに含まれる技術は互いに衝突せず、互いに補完し合い、述べられたタスクを解決します。

さらに、大手ベンダーの商用デバイスが登場し始めました。 軟膏の唯一のフライは、デバイスが明るい光で動作する場合の問題です。 GoogleとIntelがこの問題を今後数年で解決するか、おそらく既に解決していると信じたい。 ご清聴ありがとうございました。この記事がおもしろいものであったことを願っています。