L'avenir de la réalité étendue (XR) passe par l'interaction manuelle — et les outils d'Unity sont prêts

Jun 11, 2026|5 Min

Une vue XR à la première personne montrant deux mains virtuelles interagissant avec une scène comprenant des panneaux d'interface utilisateur intitulés « UI Poke Components », « UI Scrollview », « Manipulation » et « Snap Socket », ainsi que des objets 3D bleus disséminés sur une surface courbe.

Cette page a été traduite automatiquement pour faciliter votre expérience. Nous ne pouvons pas garantir l'exactitude ou la fiabilité du contenu traduit. Si vous avez des doutes quant à la qualité de cette traduction, reportez-vous à la version anglaise de la page web.

Cliquez ici.

Coauteurs : Isaac Seah (chef de produit technique principal), Alexandra Serralta (ingénieure logicielle senior), Ketki Jadhav (conceptrice de produits) et Dave Ruddell (responsable senior de l'ingénierie logicielle)

Pourquoi l'approche « mains libres » est l'avenir de la XR

Le suivi des mains est pris en charge dans la réalité étendue (XR) depuis plusieurs années, mais la plupart des projets le considèrent encore comme une fonctionnalité secondaire, ajoutée une fois que l'expérience principale a été conçue autour des manettes. Pour un nombre croissant d'expériences, cette priorité n'a plus de sens. Les jeux basés sur les gestes, la manipulation physique ou l'interaction directe avec des objets s'expriment mieux par le biais des mains : c'est plus naturel, plus intuitif et impossible à reproduire avec une manette.

Pour y parvenir, il a fallu, par le passé, surmonter deux défis majeurs liés aux outils : la création de gestes de la main personnalisés et fiables exigeait un travail de programmation considérable, et il était difficile d'affiner les interactions avec les mains sans disposer d'un casque à proximité. Deux nouveautés apportées aux packages XR de Unity répondent directement à ces deux besoins. La fonctionnalité « XR Hand Capture » du pack XR Hands vous permet d'enregistrer des poses réelles de mains directement sur l'appareil et de les importer dans Unity sous forme de ressources gestuelles réutilisables. La simulation des mains, intégrée au simulateur d'interaction XR du XR Interaction Toolkit (XRI), offre une expérience complète de développement du suivi des mains dans l'éditeur Unity, ce qui vous permet d'itérer sans casque.

Cet article explique le fonctionnement de ces deux fonctionnalités, quand les utiliser et comment les intégrer à un projet existant.

Capture des mains en XR Hands

Le package XR Hands met à disposition les données relatives aux articulations pour chaque image via le sous-système XRHandSubsystem. Pour créer un geste à partir de ces données, il faut définir un ensemble de conditions relatives aux angles articulaires et à la forme des doigts qui, lorsqu'elles sont toutes remplies simultanément, constituent une posture reconnue. Pour les gestes simples comme le pincement et le tapotement, le package est fourni avec des implémentations prêtes à l'emploi. Pour toute personnalisation, l'approche précédente nécessitait une configuration spécifique à chaque doigt et à la forme de celui-ci, ce qui impliquait de procéder à des itérations entièrement sur l'appareil.

Bien qu'indispensable, ce processus manuel était lent et moins fiable que ce qu'il est désormais possible de réaliser avec XR Hands Capture. La précision des gestes, essentielle pour des mécanismes de jeu tels que les poses caractéristiques, la manipulation d'objets en 3D ou le contrôle précis de l'interface utilisateur, était difficile à obtenir lorsqu'il fallait définir manuellement la position de chaque doigt. Ces approximations ont donné lieu à des solutions dont la mise en œuvre était lente, qui s'avéraient moins adaptées aux différentes formes de mains et qui ne procuraient pas cette sensation naturelle et intuitive indispensable à des expériences véritablement captivantes axées sur l'interaction manuelle.

Une image en double volet illustrant deux étapes du processus de capture de la main dans XR : à gauche, l'interface utilisateur du casque capturant une pose de la main « pouce levé » directement sur l'appareil ; à droite, le modèle squelettique de la main capturé, importé et affiché dans l'inspecteur de l'éditeur Unity. — Capture de mains en XR : enregistrez des poses directement sur l'appareil et importez-les dans Unity

Comment ça marche

XR Hands Capture résout ce problème en enregistrant les données articulaires réelles générées par le sous-système XRHandSubsystem lorsque vous effectuez une pose sur l'appareil, puis en créant un élément XRHandShape à partir de cet enregistrement. Vous créez des gestes à partir de données de référence plutôt que d'approximations, ce qui signifie que les interactions qui en résultent s'adaptent mieux aux différentes tailles de mains et aux variations de mouvements, et offrent les sensations escomptées.

Le processus :

Importez l'exemple HandCapture à partir du package XR Hands dans le Gestionnaire de packages.
Déployez et ouvrez la scène d'exemple sur votre appareil OpenXR.
Prenez la pose que vous souhaitez immortaliser. La scène enregistre les données de position en temps réel provenant du XRHandSubsystem dans un XRHandCaptureSequence.
Importez l'enregistrement dans l'éditeur Unity à l'aide de la fenêtre d'inspection « XR Hand Capture » (Fenêtre > XR > XR Hand Capture).
Extrayez l'élément XRHandShape — une représentation sérialisée de la posture de la main qui peut être référencée par n'importe quel composant StaticHandGesture ou par une logique de détection personnalisée.
Ajustez les tolérances si nécessaire et réenregistrez pour affiner le résultat.

Exemple de scène « XR Hands Capture » s'exécutant sur un casque, affichant six options de poses de mains sélectionnables à la suite, accompagnées des boutons « Voir les étapes » et « Démarrer », ainsi qu'une description indiquant : « Créez rapidement des formes de mains en enregistrant directement depuis votre casque, sans avoir besoin de coder ni d'attribuer de valeurs aux doigts. » — Exemple de scène « XR Hands Capture » exécutée sur un appareil OpenXR

Comme les séquences XRHandCaptureSequence et les formes XRHandShape sont toutes deux générées à partir de données de capture réelles, la bibliothèque de gestes que vous créez reflète les mouvements réels des mains, ce qui rend ces interactions naturelles pour le joueur. Cela signifie également que les non-ingénieurs peuvent participer à la création de gestes : un designer ou un animateur peut enregistrer et peaufiner des poses directement sur l'appareil sans toucher au code, ce qui permet aux designers et aux animateurs — ceux qui se soucient le plus de la qualité de l'expérience interactive — de rester directement impliqués dans son élaboration.

Simulation des mains dans le simulateur d'interaction XR

Le simulateur d'interaction XR intégré à XR Interaction Toolkit permet aux développeurs d'exécuter des expériences XR directement dans l'éditeur Unity sans avoir besoin d'un périphérique physique, ce qui s'avère particulièrement utile lors des premières itérations, où le fait de devoir enfiler un casque à chaque cycle de test représente une charge de travail supplémentaire considérable. Jusqu'à récemment, il ne prenait en charge que les commandes via manette. Les projets axés sur le suivi des mains n'avaient pas d'équivalent, ce qui signifie que le développement de l'interaction gestuelle dépendait fondamentalement du casque. Désormais, en plus des gestes de la main intégrés par défaut, tels que le tapotement, le pincement et la saisie, vous pouvez également tester vos propres gestes personnalisés directement dans le simulateur, une fonctionnalité que vous ne trouverez nulle part ailleurs en dehors des outils XR de Unity.

Gros plan sur le simulateur d'interaction Unity XR montrant deux mains virtuelles translucides dans un environnement XR, la main gauche effectuant un geste de pincement et une interface utilisateur superposée affichant les commandes gestuelles intitulées « Poke », « Pinch » et « Grab ». — Tester les gestes de la main dans le simulateur d'interaction XR intégré à l'éditeur Unity

Comment commencer

Commencez par télécharger la dernière version de Unity (6.3 ou plus récente), puis ajoutez ces fonctionnalités via le Gestionnaire de paquets Unity.

XR Hands Capture est fourni avec le pack XR Hands (version 1.7 et suivantes). Vous pouvez installer le logiciel ou le mettre à jour vers la dernière version, puis importer l'exemple `HandCapture` pour commencer. La documentation complète et le guide de référence de l'API sont disponibles dans la documentation XR Hands.
La simulation des mains est disponible dans le simulateur d'interaction XR, dans le cadre du package XR Interaction Toolkit (version 3.5 et ultérieures) et de XR Hands (version 1.8 et ultérieures). Installez ou mettez à jour vers la dernière version, puis importez l'exemple « XRI Starter Assets ». Consultez la documentation XRI pour plus de détails sur la configuration.

Pour une approche plus générale, la section « Exemples » de l'XR Interaction Toolkit propose des scènes de référence illustrant les modèles courants d'interaction par les mains. Si vous cherchez une référence communautaire concernant spécifiquement la capture des mains en XR Hands, Dilmer Valecillos a mis au point un projet de démonstration de capture des mains qui vaut le détour. Vous vous demandez ce que les développeurs créent avec Unity XR ? Jetez un œil.

Et maintenant ?

Les travaux en cours concernent les deux projets. Dans XR Hands, les domaines d'activité comprennent la conformité des données de pose avec la spécification OpenXR, la prise en charge de l'extension Palm Pose, le mappage des actions d'entrée pour les gestes de pincement, de tapotement, de visée et les poses de l'appareil, ainsi que l'amélioration des interactions par tapotement. Nous étendons également la prise en charge des extensions OpenXR qui indiquent si les données relatives aux mains proviennent d'un suivi par caméra à mains nues ou d'une estimation basée sur les manettes, ce qui est pertinent pour les jeux qui souhaitent adapter leurs mécanismes en fonction de la manière dont le joueur interagit physiquement. Chez XRI, nous continuons d'investir dans le simulateur d'interaction XR, qui constitue une solution fiable pour les tests sur appareil, à mesure que les cas d'utilisation axés sur l'expérience tactile se multiplient.

Rejoignez-nous le 9 juillet à 12 h (heure de l'Est) pour un direct en ligne avec un invité spécial de Meta. Vous pourrez découvrir en direct le fonctionnement de XR Hand Capture et du simulateur XRI, participer à une séance de questions-réponses en direct et avoir un aperçu des nouveautés à venir.