El futuro de la XR pasa por el uso de los gestos con las manos, y las herramientas de Unity ya están listas

Jun 11, 2026|5 Mín.

Una vista en primera persona en XR que muestra dos manos virtuales interactuando con una escena que contiene paneles de interfaz de usuario etiquetados como «UI Poke Components», «UI Scrollview», «Manipulation» y «Snap Socket», con objetos 3D azules repartidos por una superficie curva.

Para tu comodidad, tradujimos esta página mediante traducción automática. No podemos garantizar la precisión ni la confiabilidad del contenido traducido. Si tienes alguna duda sobre la precisión del contenido traducido, consulta la versión oficial en inglés de la página web.

Haz clic aquí.

Coautores: Isaac Seah (director técnico de producto), Alexandra Serralta (ingeniera de software sénior), Ketki Jadhav (diseñadora de producto) y Dave Ruddell (director sénior de ingeniería de software)

Por qué «Hands-First» es el futuro de la XR

El seguimiento de manos es un tipo de entrada compatible con la realidad extendida (XR) desde hace varios años, pero la mayoría de los proyectos siguen considerándolo secundario, algo que se añade una vez que la experiencia principal se ha diseñado en torno a los mandos. En un número cada vez mayor de casos, esa prioridad ya no tiene sentido. Los juegos basados en gestos, la manipulación física o la interacción directa con objetos se expresan mejor, por naturaleza, a través de las manos: resultan más naturales, más intuitivos y son imposibles de reproducir con un mando.

Llegar hasta aquí ha supuesto, históricamente, superar dos retos fundamentales en materia de herramientas: crear gestos manuales personalizados y fiables requería un trabajo considerable de programación, y resultaba difícil perfeccionar las interacciones con las manos sin tener las gafas de realidad virtual físicamente cerca. Dos novedades en los paquetes de XR de Unity abordan directamente ambas cuestiones. La función «XR Hand Capture» del paquete «XR Hands» te permite grabar las posiciones reales de las manos directamente en el dispositivo e importarlas a Unity como recursos de gestos reutilizables. La simulación de manos, incorporada al simulador de interacción XR del XR Interaction Toolkit (XRI), ofrece una experiencia de desarrollo con seguimiento completo de las manos en el editor de Unity, lo que te permite realizar iteraciones sin necesidad de un casco de realidad virtual.

En esta entrada se explica cómo funcionan ambas funciones, cuándo utilizarlas y cómo integrarlas en un proyecto ya existente.

Captura de manos en XR Hands

El paquete XR Hands proporciona datos de las articulaciones por fotograma a través del XRHandSubsystem. Crear un gesto a partir de esos datos implica definir un conjunto de condiciones relativas al ángulo de las articulaciones y la forma de los dedos que, cuando se cumplen simultáneamente, constituyen una postura reconocida. Para gestos sencillos como pellizcar y tocar, el paquete incluye implementaciones listas para usar. En el caso de cualquier configuración personalizada, el método anterior exigía configurar la forma de cada dedo, lo que implicaba realizar todas las iteraciones directamente en el dispositivo.

Aunque era fundamental, ese proceso manual resultaba lento y menos fiable en comparación con lo que ahora se puede hacer con XR Hands Capture. La precisión en la reproducción de los gestos, que resulta fundamental para mecánicas de juego como las poses características, la manipulación de objetos en 3D o el control preciso de la interfaz de usuario, era difícil de conseguir cuando había que definir manualmente la forma de cada dedo. Estas aproximaciones dieron lugar a soluciones que tardaban en generarse, resultaban más frágiles al adaptarse a diferentes formas de las manos y carecían de esa sensación natural e intuitiva que resulta esencial para crear experiencias centradas en el uso manual verdaderamente atractivas.

Una imagen dividida que muestra dos pasos del flujo de trabajo de XR Hand Capture: a la izquierda, la interfaz de usuario de las gafas de realidad virtual capturando una pose de la mano con el pulgar hacia arriba directamente en el dispositivo; a la derecha, el modelo esquelético de la mano capturado, importado y visualizado en el inspector del editor de Unity. — Captura manual en XR: graba poses directamente en el dispositivo e impórtalas a Unity

Cómo funciona

XR Hands Capture resuelve esto registrando los datos reales de las articulaciones generados por el XRHandSubsystem mientras se realiza una pose en el dispositivo y, a continuación, generando un recurso XRHandShape a partir de ese registro. Estás creando gestos basados en datos reales, en lugar de en aproximaciones, lo que significa que las interacciones resultantes se adaptan mejor a los distintos tamaños de mano y a las variaciones de movimiento, y se perciben tal y como se supone que deben percibirse.

El flujo de trabajo:

Importa el ejemplo HandCapture del paquete XR Hands en el Gestor de paquetes.
Instala y abre la escena de ejemplo en tu dispositivo OpenXR.
Adopta la postura que quieras fotografiar. La escena registra datos de articulaciones en tiempo real procedentes del XRHandSubsystem en un XRHandCaptureSequence.
Importa la grabación al editor de Unity mediante la ventana del inspector «XR Hand Capture» (Ventana > XR > XR Hand Capture).
Extrae el recurso XRHandShape, una representación serializada de la postura de la mano a la que puede hacer referencia cualquier componente StaticHandGesture o cualquier lógica de detección personalizada.
Ajusta las tolerancias si es necesario y vuelve a registrar los datos para perfeccionar el resultado.

La escena de demostración «XR Hands Capture» ejecutándose en un casco de realidad virtual, en la que se muestran seis opciones de postura de la mano seleccionables en fila, junto con los botones «Ver pasos» y «Iniciar», y una descripción que dice: «Crea rápidamente formas con las manos grabándolas directamente desde tu casco; no es necesario programar ni asignar valores a los dedos». — La escena de ejemplo «XR Hands Capture» ejecutándose en un dispositivo OpenXR

Dado que tanto XRHandCaptureSequence como XRHandShape se generan a partir de datos de captura reales, la biblioteca de gestos que crees reflejará el movimiento real de las manos, lo que hará que esas interacciones resulten naturales cuando el jugador las utilice. Esto también significa que personas que no son ingenieros pueden participar en la creación de gestos: un diseñador o animador puede grabar y modificar las poses directamente en el dispositivo sin tener que tocar el código, lo que permite que los diseñadores y animadores —las personas a quienes más les importa cómo se percibe una interacción— sigan participando directamente en su diseño.

Simulación de manos en el simulador de interacción XR

El simulador de interacción XR incluido en el XR Interaction Toolkit permite a los desarrolladores ejecutar experiencias de realidad extendida dentro del editor de Unity sin necesidad de un dispositivo físico, lo cual resulta útil en las primeras fases de desarrollo, en las que tener que ponerse las gafas de realidad virtual en cada ciclo de pruebas supone una carga adicional considerable. Hasta hace poco, solo admitía la entrada mediante mando. Los proyectos basados en el seguimiento de las manos no tenían equivalente, lo que significaba que el desarrollo de la interacción con las manos dependía fundamentalmente de los cascos. Ahora, además de los gestos manuales estándar integrados, como tocar, pellizcar y agarrar, también puedes probar tus propios gestos personalizados directamente en el simulador, una función que no encontrarás en ningún otro sitio fuera de las herramientas de XR de Unity.

Una vista ampliada del simulador de interacción Unity XR en la que se ven dos manos virtuales translúcidas en un entorno de realidad extendida, con la mano izquierda realizando un gesto de pellizco y una interfaz de usuario superpuesta que muestra controles gestuales etiquetados como «Poke», «Pinch» y «Grab». — Prueba de gestos con las manos en el simulador de interacción XR dentro del editor de Unity

Cómo empezar

Para empezar, descarga la última versión de Unity (6.3 o posterior) y, a continuación, añade estas funciones a través del Gestor de paquetes de Unity.

XR Hands Capture se incluye en el paquete XR Hands (versión 1.7 y posteriores). Puedes instalar el programa o actualizarlo a la última versión e importar el ejemplo `HandCapture` para empezar. La documentación completa y la referencia de la API están disponibles en la documentación de XR Hands.
La simulación de manos está disponible en el Simulador de Interacción XR como parte del paquete XR Interaction Toolkit (versión 3.5 y posteriores) y de XR Hands (versión 1.8 y posteriores). Instala o actualiza a la última versión e importa el ejemplo «XRI Starter Assets». Consulte la documentación de XRI para obtener más detalles sobre la configuración.

Para tener una perspectiva más amplia, la sección «Ejemplos» del XR Interaction Toolkit incluye escenas de referencia que abarcan patrones habituales de interacción con las manos. Si estás buscando una referencia de la comunidad específica para la captura de manos en XR Hands, Dilmer Valecillos ha creado un proyecto de demostración sobre la captura de manos que merece la pena ver. ¿Te gustaría saber qué están creando los desarrolladores con Unity XR? Echa un vistazo.

¿Y ahora qué?

El trabajo en curso abarca ambos paquetes. En XR Hands, las áreas de trabajo incluyen la compatibilidad de los datos de postura con la especificación OpenXR, la compatibilidad con la extensión Palm Pose, la asignación de acciones de entrada para gestos como pellizcar, tocar, apuntar y las posturas del dispositivo, así como mejoras en la interacción mediante el toque. Además, estamos ampliando la compatibilidad con las extensiones de OpenXR que indican si los datos de las manos proceden del seguimiento con cámara a mano alzada o de una estimación basada en el mando, lo cual resulta relevante para los juegos que desean adaptar la mecánica en función de cómo interactúa físicamente el jugador. En XRI, seguimos invirtiendo en el Simulador de Interacción XR como una herramienta fiable para realizar pruebas en dispositivos, a medida que aumentan los casos de uso que requieren una interacción directa.

Acompáñanos en nuestra retransmisión en directo el 9 de julio a las 12:00 h (hora del Este) con un invitado especial de Meta para ver en acción XR Hand Capture y el simulador XRI, con una sesión de preguntas y respuestas en directo y un avance de lo que está por venir.