Augen, Hände, Simulation und Proben: Was ist neu in Unity XR Interaction Toolkit 2.3
Das XR Interaction Toolkit (XRI) ist ein komponentenbasiertes High-Level-Interaktionssystem zur Erstellung von VR- und AR-Erlebnissen. Es bietet einen gemeinsamen Rahmen für Interaktionen und vereinfacht die plattformübergreifende Erstellung. Dieses Update fügt drei wichtige Funktionen hinzu: Blick- und Hand-Tracking für natürlichere Interaktionen, audiovisuelle Affordances, um Interaktionen zum Leben zu erwecken, und einen verbesserten Gerätesimulator zum Testen im Editor. Um Ihnen den Einstieg zu erleichtern, wollen wir uns die einzelnen Zusätze genauer ansehen.
Eine genauere Aufschlüsselung der Aktualisierung finden Sie unter " Was ist neu in XRI 2.3" oder im Beispielprojekt.
Der XR-Entwickler und Gründer von LearnXR.io, Dilmer Valecillos, hat ein großartiges Video-Tutorial zu XRI 2.3 zusammengestellt:
Zusammen mit XRI 2.3 wird das Unity XR Hands-Paket in der Vorabversion ausgeliefert. XR Hands ist ein neues XR-Subsystem, das APIs hinzufügt, um Hand-Tracking in Unity zu ermöglichen. Zum Zeitpunkt der Veröffentlichung ist die Unterstützung für OpenXR bereits integriert, die Unterstützung für Meta-Plattformen wird in Kürze folgen. Darüber hinaus können externe Hardware-Anbieter Hand-Tracking-Daten aus ihrem bestehenden XR SDK einspeisen, indem sie die mitgelieferte API-Dokumentation befolgen.
Diese Version von XRI enthält die Hands Interaction Demo, ein Beispielpaket, das ein Hand-Interaktions-Setup zeigt, bei dem Sie zwischen Händen und Controllern wechseln können, ohne etwas an Ihrer Szene auf dem Gerät zu ändern. Mit dieser Funktionalität können Ihre Inhalte mit einem Standard-Controller-Setup beginnen, aber nahtlos zu Händen für bestimmte Aufgaben oder natürliche Interaktionen im Spiel übergehen.
XRI 2.3 unterstützt mit dem XR Poke Interactor auch natürliche Interaktionen durch Anstupsen. Damit können Sie mit Händen oder Controllern auf 3D UI oder XRI-fähigen UGUI Canvas-Elementen stochern.
Neue Headsets wie die HoloLens 2, Meta Quest Pro und PlayStation® VR2 sind mit Sensoren ausgestattet, die erkennen, wohin der Nutzer schaut. Blickbasierte Interaktionen können Ihnen helfen, XR-Apps zu entwickeln, die sich natürlicher anfühlen und eine zusätzliche Möglichkeit bieten, sich mit Inhalten zu beschäftigen. Um diese Art der Interaktion zu unterstützen, haben wir den XR Gaze Interactor eingeführt, der durch Blick- oder Kopfbewegungen gesteuert wird. Sie können diesen Interaktor für direkte Manipulationen verwenden, wie z.B. Hovering oder Auswahl durch Verweilen auf interaktiven Elementen.
Da wir im Allgemeinen nicht empfehlen, Anwendungen ausschließlich mit den Augen zu steuern, haben wir eine zusätzliche Form der Steuerung und handbasierten Interaktionsunterstützung eingeführt, um die Benutzer bei der Auswahl bestimmter Objekte zu unterstützen: das XR Interactable Snap Volume. Diese Komponente ergänzt den Blickinteraktor, da sie das Einrasten von Interaktionen auf ein nahegelegenes Interaktionsobjekt ermöglicht, wenn ein bestimmter Bereich um ein Objekt herum anvisiert wird. Fangvolumina können auch ohne den Blickinteraktor verwendet werden, um die Objektauswahl für den Benutzer zu erleichtern.
Tobii, ein weltweit führendes Unternehmen im Bereich der Eye-Tracking-Technologie, unterstützte uns bei den Konzepten und der Forschung. Wenn Sie mehr erfahren möchten, können Sie die Knowledge Base der Eye-Tracking-Konzepte durchsuchen.
Die Interaktion mit den Händen unterscheidet sich insofern von der Verwendung von Controllern, als es keine haptische oder taktile Rückmeldung gibt, um zu bestätigen, dass eine Interaktion stattgefunden hat. Das Affordance-System, eine Reihe leistungsfähiger Komponenten, die Objekte animieren oder Soundeffekte als Reaktion auf den Interaktionszustand eines Objekts auslösen, hilft, diese Rückkopplungslücke zu verringern. Dieses System ist so aufgebaut, dass es mit jeder Kombination von Interaktor und Interaktanten sowohl in neuen als auch in bestehenden Projekten funktioniert.
Der neue XR General Grab Transformer reduziert die Komplexität der Hierarchie und ermöglicht es, dass ein allgemeiner Transformer sowohl einhändige als auch beidhändige Interaktionen auf einem Interactable unterstützt, anstatt mehrere Grab-Transformer zu verwenden. Sie ermöglicht auch das beidhändige Skalieren von Objekten, indem Sie Ihre Hände auseinander oder zusammen bewegen, ähnlich wie beim Zoomen auf einem Mobiltelefon.
Wir haben auch eine Interaktionsgruppenkomponente hinzugefügt. Dieses Verhalten ermöglicht es einem Entwickler, Interaktoren zu gruppieren und nach Priorität zu sortieren, so dass nur ein einziger Interaktor pro Gruppe zu einem bestimmten Zeitpunkt interagieren kann. Wenn beispielsweise ein Poke-, ein Direct- und ein Ray-Interaktor zusammen gruppiert sind, werden die anderen Interaktoren durch das Drücken einer Taste vorübergehend von der Interaktion mit der Szene ausgeschlossen. Dies kann verhindern, dass Sie versehentlich etwas in der Nähe greifen, wenn Sie in der Ferne arbeiten, und verhindert, dass Strahlen in die Szene schießen, während Sie ein Objekt aus der Nähe greifen oder anstupsen.
Das Testen von XR-Apps auf einem Headset ist wichtig, aber das Testen im Editor hilft, die Iterationszeit zu reduzieren. In dieser Version wurde der XR Device Simulator mit einem neuen UI-Widget auf dem Bildschirm aktualisiert, das es einfacher macht, zu sehen, welche Eingaben den Simulator steuern und welche gerade aktiv sind.
Außerdem wurden neue Simulationsmodi hinzugefügt, so dass Sie zwischen häufig verwendeten Kontrollmodi umschalten können. Beim Start aktiviert der Gerätesimulator den neuen Ego-Shooter (FPS)-Modus, der das Headset und die Controller so manipuliert, als würde der gesamte Spieler seinen Oberkörper drehen. Sie können dann durch die anderen Modi schalten, um die einzelnen Geräte zu bedienen: das Headset, den linken Controller und den rechten Controller. Um den XR Device Simulator zu verwenden, importieren Sie das Beispiel aus dem Package Manager.
Es hat lange auf sich warten lassen, und unser aktualisiertes Beispielprojekt ist endlich da. Es zeigt die Vielzahl der XR-Erlebnisbausteine, die Sie in XRI 2.3 verwenden können. Das Projekt ist in Stationen unterteilt, die Ihnen helfen, die Funktionsweise der einzelnen Hauptfunktionen von XRI zu verstehen, und enthält sowohl einfache als auch fortgeschrittene Beispiele für jede Funktion. Sie können auf das Beispielprojekt auf GitHub zugreifen und es als Starthilfe für Ihre nächste XR-App verwenden.
Obwohl das XR Interaction Toolkit für Augen und Hände noch in den Kinderschuhen steckt, arbeiten wir ständig daran, die Entwicklung ausdrucksstarker XR Erlebnisse zu erleichtern. Auf dem Weg zu XRI 2.4 und darüber hinaus würden wir uns über Ihr Feedback freuen. Wir würden auch gerne sehen, was Sie mit diesen Tools bauen. Fügen Sie also gerne den Hashtag #unityXRI hinzu, wenn Sie in den sozialen Medien posten.