Magic Leapは、拡張現実デバイスに焦点を当てたスタートアップです。 同社はすでに、Qualcomm、Google、Alibaba Groupなどの印象的な投資家から14億ドルの投資を集めています。 2016年、フォーブスはMagic Leapを45億ドルと評価しました。 当時、Magic Leapはレンダリングのみを公開していました。
魔法の飛躍
ML1キットにはメガネ自体が含まれており、メーカーはこれをLightwear、Lightpackコンピューティングコンピューター、コントローラーと呼んでいます。
製造業者は、デバイスが数時間の連続使用に十分軽くて便利であると約束しています。 このデバイスに実装されたデジタルライトフィールドテクノロジーを使用すると、環境を考慮して拡張現実オブジェクトを追加できます。
ルミンOS
Magic Leap Oneのオペレーティングシステムとして、Lumin OSが使用されます。 Linuxカーネルに基づいています。 機能の一部はAndroidから取得され、一部は空間コンピューティングタスクに高いパフォーマンスを提供する必要があるため、私たち自身が作成しました。 OSは、Wi-Fi、Bluetooth、マルチメディア、マルチタスクをサポートしています。 マイク、カメラ、および個人情報に関連するその他のデバイスを使用する前に、ユーザーはそれらへのアクセスを求めるダイアログボックスが表示されます。
3Dエンジンとして、Unreal Engine 4またはUnityを使用できます。これらは現在、この分野の標準となっています。 Lumin SDK C APIを使用して、Lumin OSの機能をエンジンに統合することもできます。
ルミンSDK
Lumin SDKには、ML1デバイスの機能へのアクセスを提供するライブラリ、デバイスシミュレーター、およびデバイスシミュレーターを起動する部屋を生成できるスペースシミュレーターが含まれています。
ヘッドポーズ
現実世界のML1の座標と方向を取得できます。 追跡には、 VIOが使用されます（カメラ+加速度計）。 カメラに問題がある場合（低光量、テクスチャーの低下、オーバーラップ）、動きの追跡は無効になり、方向の追跡のみが機能します。
興味深い機能は、ML1が周囲のスペースを記憶していることです。 これにより、座標が失われ、部屋の別の部分に移動された後、座標を復元できます。 また、拡張現実のオブジェクトの座標を部屋の特定の場所に保存し、新たに開始して復元することもできます。
ジェスチャー
ML1は8つのジェスチャを認識できます。 情報として、座標と確率が与えられますが、手は互いに重なってはいけません。 シミュレーターでは、カメラの可視範囲に含まれるがユーザーには表示されないジェスチャーに関する情報を受け取ります。 実際のデバイスでは、ユーザーの可視領域にあるジェスチャーに関する情報のみを受け取ります。
音声
SDKでは、ユーザーの周囲の場所を考慮して、「空間」サウンドを再生できます。 処理を行わないと、音は平らに見え、没入感を感じるのに十分ではありません。 Soundfield Audioテクノロジーは、Unity、Unreal Engine 4のプロジェクトに接続するか、WwiseまたはFMODのプラグインを介して接続できます。 将来のリリースでは、Lumin SDKの呼び出しを直接使用できるようになる予定です。
ML1は、メディアプレーヤーを使用したオーディオとビデオの再生をサポートしています。 HTTPライブストリーミングとRTSPもサポートされています。 MPEG-DASHおよびSmooth Streamingはまだサポートされていません。
世界の再建
ML1は、周囲のスペースをリアルタイムでスキャンします。 データは複数の位置から収集され、ノイズを除去するために結合されます。 開発者は次の3種類のデータを利用できます。
- トップスを取得;
- 飛行機を取得する;
- ビームとオブジェクトの交差点を取得します（レイキャスト）。
デフォルトでは、認識された現実世界のオブジェクトは拡張現実オブジェクトと重なります。
使用に関する推奨事項：
- ML1は静的環境を想定しています。 あなたの周りの動きが多すぎる場合、驚きがあるかもしれません。
- スペースをよりよくスキャンするには、部屋を歩き回ってください。
- 速く動きすぎないでください。
- 40 cmから5メートルのセンサーまでの推奨距離。
- 日光やその他の赤外線はカメラの動作に悪影響を与える可能性があります。
- センサーは、黒く、光沢があり、光を吸収する物体を認識しない場合があります。
シミュレーター
SDKには、Virtual Room GeneratorとMagic Leap Remoteも含まれています。 Magic Leap Remote-シミュレーターデバイスML1。 仮想部屋ジェネレーター-シミュレーターに転送できる部屋のジェネレーター。
シミュレータを使用すると、オーディオの操作、デバイスの仮想部屋での移動、仮想トラックパッドの操作、ジェスチャの認識、画像の追跡、レイキャストを使用した部屋オブジェクトに関するデータの受信ができます。
同社は今年、デバイスを消費者に届けることを約束しています。 プロジェクトを準備し、販売開始までにストアの最初のアプリケーションのリストに載る時間はまだあります。
Magic Leapからのニュースと競合他社の回答をお待ちしています。 現在、MicrosoftのHoloLensのみがその中に含まれています。 しかし数日前、AppleはWWDC会議への登録を開始しました。このロゴは今回は3Dインターフェイスに非常に似ています。
