Yeux, mains, simulation et échantillons : Nouveautés dans Unity XR Interaction Toolkit 2.3
Le XR Interaction Toolkit (XRI) est un système d'interaction de haut niveau, basé sur des composants, qui permet de créer des expériences de RV et de RA. Il fournit un cadre commun pour les interactions et rationalise la création multiplateforme. Cette mise à jour ajoute trois fonctionnalités clés : le suivi du regard et des mains pour des interactions plus naturelles, des affordances audiovisuelles pour donner vie aux interactions, et un simulateur d'appareil amélioré pour tester dans-Editor. Pour vous aider à démarrer, nous allons examiner chaque ajout plus en détail.
Pour une analyse plus approfondie de la mise à jour, consultez les nouveautés de XRI 2.3 ou explorez l'exemple de projet.
Le développeur XR et fondateur de LearnXR.io, Dilmer Valecillos, a mis en place un tutoriel vidéo impressionnant sur XRI 2.3 :
En même temps que XRI 2.3, nous livrons le paquetage Unity XR Hands en préversion. XR Hands est un nouveau sous-système XR qui ajoute des API pour permettre le suivi des mains dans Unity. Il comprend un support intégré pour OpenXR dès sa sortie, avec un support pour les plates-formes Meta qui suivra bientôt. En outre, les fournisseurs de matériel externes peuvent introduire des données de suivi des mains à partir de leur SDK XR existant en suivant la documentation API fournie.
Cette version de XRI inclut la démo d'interaction avec les mains, un exemple d'installation d'interaction avec les mains où vous pouvez passer d'une main à l'autre et d'un contrôleur à l'autre sans changer quoi que ce soit dans votre scène sur l'appareil. Grâce à cette fonctionnalité, votre contenu peut commencer avec une configuration de contrôleur standard, mais passer de manière transparente aux mains pour des tâches spécifiques ou des interactions naturelles dans le jeu.
XRI 2.3 prend également en charge les interactions naturelles de type "poke" grâce à l'interacteur XR Poke. Cela vous permet d'utiliser des mains ou des contrôleurs sur des éléments 3D UI ou des éléments UGUI Canvas compatibles XRI.
Les nouveaux casques comme le HoloLens 2, le Meta Quest Pro et le PlayStation® VR2 intègrent des capteurs qui permettent de repérer les endroits où les utilisateurs regardent. Les interactions basées sur le regard peuvent vous aider à créer des apps XR qui semblent plus naturelles et offrent un moyen supplémentaire de s'engager avec le contenu. Pour soutenir ce type d'interaction, nous avons introduit l'interacteur XR Gaze Interactor, piloté par des poses de regard ou de tête. Vous pouvez utiliser cet interacteur pour la manipulation directe, comme le survol ou la sélection en restant sur les objets interactifs.
Comme nous ne recommandons généralement pas que les apps soient contrôlées entièrement avec les yeux, nous avons introduit une forme supplémentaire de contrôleur et d'assistance à l'interaction basée sur les mains pour aider les utilisateurs à sélectionner des objets spécifiques : le volume d'encliquetage interagissable XR. Ce composant complète l'interacteur de regard, puisqu'il permet d'accrocher des interactions à un objet interactif proche lorsque l'on vise une zone définie autour d'un objet. Les volumes instantanés peuvent également être utilisés sans l'interacteur du regard afin de faciliter la sélection des objets par les utilisateurs.
Tobii, leader mondial de la technologie de suivi oculaire, a contribué aux concepts et à la recherche. Si vous souhaitez en savoir plus, vous pouvez consulter leur base de connaissances sur les concepts de l'oculométrie.
L'utilisation des mains pour l'interaction est différente de celle des contrôleurs, car il n'y a pas de retour haptique ou tactile pour confirmer qu'une interaction a eu lieu. Le système d'affordance, un ensemble de composants performants qui animent les objets ou déclenchent des effets sonores en réaction à l'état d'interaction d'un objet, permet d'atténuer ce manque de rétroaction. Ce système est conçu pour fonctionner avec n'importe quelle combinaison d'interacteurs et d'interactifs dans les projets nouveaux et existants.
Le nouveau transformateur de préhension général XR réduit la complexité de la hiérarchie et permet à un transformateur polyvalent de prendre en charge les interactions à une ou deux mains sur un interactable, plutôt que plusieurs transformateurs de préhension. Il permet également la mise à l'échelle à deux mains, ce qui permet de mettre à l'échelle des objets en écartant ou en rapprochant les mains, comme pour un zoom avant ou arrière sur un téléphone portable.
Nous avons également ajouté un composant "groupe d'interaction". Ce comportement permet au développeur de regrouper les interacteurs et de les classer par priorité, ce qui permet à un seul interacteur par groupe d'interagir à un moment donné. Par exemple, lorsqu'un interacteur Poke, Direct et Ray sont regroupés, le fait d'appuyer sur un bouton empêchera temporairement les autres interacteurs d'interagir avec la scène. Cela permet d'éviter de saisir accidentellement un objet situé à proximité lorsque vous travaillez à distance, et d'empêcher les rayons de pénétrer dans la scène lorsque vous saisissez ou pointez un objet de près.
Il est important de tester les apps XR sur un casque, mais les tests dans l'éditeur permettent de réduire le temps d'itération. Dans cette version, le Device Simulator Devices a reçu une mise à jour majeure de la convivialité avec un nouveau widget d'interface utilisateur à l'écran qui permet de voir plus facilement quelles entrées pilotent le simulateur, et lesquelles sont actuellement actives.
De nouveaux modes de simulation ont également été ajoutés afin que vous puissiez basculer entre les modes de contrôle couramment utilisés. Au démarrage, le Device Simulator Devices active le nouveau mode de tir à la première personne (FPS), qui manipule le casque et les manettes comme si le joueur entier tournait son torse. Vous pouvez ensuite passer d'un mode à l'autre pour manipuler des dispositifs individuels : le casque, la manette gauche et la manette droite. Pour utiliser le Device Simulator Devices XR, importez l'échantillon à partir du gestionnaire de paquets.
Cela faisait longtemps qu'on l'attendait, et notre projet d'échantillon mis à jour est enfin là. Il présente l'ensemble des éléments constitutifs de l'expérience XR que vous pouvez utiliser dans XRI 2.3. Le projet est divisé en stations qui vous aident à comprendre le fonctionnement de chaque caractéristique majeure de XRI, et comprend des exemples simples et avancés pour chacune d'entre elles. Vous pouvez accéder à l'exemple de projet sur GitHub et l'utiliser pour donner le coup d'envoi à votre prochaine application XR.
Bien qu'il soit encore tôt pour les yeux et les mains dans le XR Interaction Toolkit, nous nous efforçons toujours de faciliter la création d'expériences XR expressives. Alors que nous nous dirigeons vers la version 2.4 de la XRI et au-delà, nous vous serions reconnaissants de nous faire part de vos commentaires. Nous aimerions également voir ce que vous construisez avec ces outils, alors n'hésitez pas à inclure le hashtag #unityXRI lorsque vous publiez sur les médias sociaux.