目、手、シミュレーション、サンプル:Unity XR インタラクション ツールキット 2.3 の新機能
XR インタラクション ツールキット (XRI) は、 VRおよび AR エクスペリエンスを作成するための、高レベルのコンポーネント ベースのインタラクション システムです。相互作用のための共通フレームワークを提供し、クロスプラットフォームの作成を効率化します。このアップデートでは、より自然なインタラクションを実現する視線と手の追跡、インタラクションを生き生きとさせるオーディオビジュアル アフォーダンス、エディター内でテストするための改良されたデバイス シミュレーターという 3 つの主要機能が追加されました。始めるにあたって、それぞれの追加機能についてさらに詳しく見ていきましょう。
アップデートのより詳細な情報については、XRI 2.3 の 新機能 を確認するか、 サンプル プロジェクトを参照してください。
XR 開発者であり LearnXR.ioの創設者でもある Dilmer Valecillos が、XRI 2.3 に関する素晴らしいビデオ チュートリアルを作成しました。
XRI 2.3 とともに、UnityXR Hands パッケージを プレリリースで出荷します。XR Hands は、Unity でハンド トラッキングを可能にする API を追加する新しい XR サブシステムです。リリース時には OpenXR のサポートが組み込まれており、Meta プラットフォームのサポートも間もなく開始される予定です。さらに、外部のハードウェア プロバイダーは、 提供されている API ドキュメントに従って、既存の XR SDK からハンド トラッキング データをパイプすることができます。
この XRI リリースには、デバイス上のシーンを変更することなく、手とコントローラーを切り替えることができる手のインタラクション設定を紹介するサンプル パッケージである Hands Interaction Demoが含まれています。この機能を使用すると、コンテンツは標準のコントローラー設定で開始され、特定のタスクやゲームプレイ中の自然なやり取りのためにシームレスに手に移行します。
XRI 2.3 は、XR Poke Interactor を通じて自然なポーク インタラクションもサポートします。これにより、3D UI または XRI 対応の UGUICanvas 要素を手やコントローラーで操作できるようになります。
HoloLens 2、Meta Quest Pro、PlayStation® VR2 などの新しいヘッドセットには、ユーザーがどこを見ているかを追跡するセンサーが搭載されています。視線ベースのインタラクションは、より自然に感じられる XR アプリを構築し、コンテンツを操作する追加の方法を提供するのに役立ちます。この種のインタラクションをサポートするために、視線または頭の視線のポーズによって駆動される XR Gaze Interactor を導入しました。このインタラクタを使用すると、インタラクション可能な項目にカーソルを合わせたり選択したりするなど、直接操作を行うことができます。
一般的に、アプリを完全に目だけで制御することは推奨されていないため、ユーザーが特定のオブジェクトを選択できるように、コントローラーと手を使った操作支援の追加形式である XR Interactable Snap Volume を導入しました。このコンポーネントは、オブジェクトの周囲の定義された領域を狙うときに、近くのインタラクション可能なものにインタラクションをスナップできるようにするため、視線インタラクタを補完します。スナップ ボリュームは、視線インタラクタなしでも使用でき、ユーザーがオブジェクトを簡単に選択できるようになります。
視線追跡技術の世界的リーダーである Tobii が、コンセプトと研究に協力しました。さらに詳しく知りたい場合は、 アイトラッキングの概念に関するナレッジベースを参照してください。
手を使って操作する場合、コントローラーを使用する場合とは異なり、操作が行われたことを確認するための触覚フィードバックや触覚フィードバックがありません。アフォーダンス システムは、オブジェクトのインタラクション状態に応じてオブジェクトをアニメーション化したりサウンド効果をトリガーしたりする高性能コンポーネントのセットであり、このフィードバック ギャップを軽減するのに役立ちます。このシステムは、新規プロジェクトと既存プロジェクトの両方で、インタラクターとインタラクタブルの任意の組み合わせで動作するように構築されています。
新しい XR 汎用グラブ トランスフォーマーは、階層の複雑さを軽減し、複数のグラブ トランスフォーマーではなく、1 つの汎用トランスフォーマーで、インタラクション可能なオブジェクトに対する片手および両手によるインタラクションの両方をサポートできるようになります。また、両手によるスケーリングも可能になり、携帯電話でズームインやズームアウトするのと同様に、両手を広げたり近づけたりすることでオブジェクトを拡大したり縮小したりできるようになります。
インタラクション グループ コンポーネントも追加しました。この動作により、開発者はインタラクターをグループ化し、優先度順に並べ替えることができ、一度にグループごとに 1 つのインタラクターのみがインタラクトできるようになります。たとえば、Poke、Direct、Ray インタラクターがグループ化されている場合、ボタンをポケすると、他のインタラクターがシーンと対話できなくなります。これにより、遠くで作業しているときに誤って近くにあるものをつかむのを防ぐことができ、近くのオブジェクトをつかんだり突いたりしているときに光線がシーンに照射されるのを防ぐことができます。
ヘッドセットで XR アプリをテストすることは重要ですが、エディター内でテストすると反復時間を短縮できます。このリリースでは、XR デバイス シミュレーターの ユーザビリティが大幅に向上し、新しいオンスクリーン UI ウィジェットが追加されました。これにより、シミュレーターを駆動する入力と現在アクティブな入力を簡単に確認できるようになりました。
新しいシミュレーション モードも追加されたため、よく使用される制御モードを切り替えることができます。起動時に、デバイス シミュレーターは新しい一人称シューティング (FPS) モードをアクティブ化し、プレーヤー全体が胴体を回転させているかのようにヘッドセットとコントローラーを操作します。その後、他のモードを切り替えて、ヘッドセット、左コントローラー、右コントローラーなど、個々のデバイスを操作できます。XR デバイス シミュレーターを使用するには、パッケージ マネージャーから サンプル をインポートします。
長い時間がかかりましたが、更新されたサンプル プロジェクトがようやく完成しました。XRI 2.3 で使用できるさまざまな XR エクスペリエンス ビルディング ブロックを紹介します。このプロジェクトは、XRI の各主要機能がどのように機能するかを理解するのに役立つステーションに分かれており、それぞれに簡単な例と高度な例の両方が含まれています。GitHub のサンプル プロジェクトにアクセスし、それを使用して次の XR アプリを開始できます。
XR インタラクション ツールキットの目と手はまだ初期段階ですが、私たちは表現力豊かな XR エクスペリエンスをより簡単に構築できるように常に取り組んでいます。XRI 2.4 以降に向けて、皆様の フィードバックをお待ちしております。これらのツールを使用して作成したものもぜひ拝見したいので、ソーシャル メディアに投稿する際にはハッシュタグ #unityXRI を自由に含めてください。