Ojos, manos, simulación y muestras: Novedades de Unity XR Interaction Toolkit 2.3
El XR Interaction Toolkit (XRI) es un sistema de interacción de alto nivel basado en componentes para crear experiencias de VR y AR. Proporciona un marco común para las interacciones y agiliza la creación multiplataforma. Esta actualización agrega tres características clave: seguimiento de la mirada y de la mano para interacciones más naturales, funciones audiovisuales para dar vida a las interacciones y un simulador de dispositivo mejorado para probar en el editor. Para ayudarle a comenzar, exploremos cada incorporación con más detalle.
Para obtener un desglose más detallado de la actualización, consulte las novedades de XRI 2.3 o explore el proyecto de muestra.
El desarrollador de XR y fundador de LearnXR.io, Dilmer Valecillos, ha elaborado un fantástico vídeo tutorial sobre XRI 2.3:
Junto con XRI 2.3, enviamos el paquete Unity XR Hands en versión preliminar. XR Hands es un nuevo subsistema XR que agrega API para permitir el seguimiento de manos en Unity. Incluye soporte integrado en el lanzamiento para OpenXR, y pronto se sumará soporte para plataformas Meta. Además, los proveedores de hardware externos pueden incorporar datos de seguimiento manual desde su SDK XR existente siguiendo la documentación API proporcionada.
Esta versión de XRI incluye la demostración de interacción de manos, un paquete de muestra que muestra una configuración de interacción de manos donde puedes cambiar entre manos y controladores sin cambiar nada en tu escena en el dispositivo. Con esta funcionalidad, su contenido puede comenzar con una configuración de controlador estándar, pero pasar sin problemas a las manos para tareas específicas o interacciones naturales en el juego.
XRI 2.3 también admite interacciones de toque naturales a través del XR Poke Interactor. Esto le permite tocar con las manos o controladores elementos de Canvas UGUI habilitados para XRI o IU 3D .
Los nuevos auriculares como HoloLens 2, Meta Quest Pro y PlayStation® VR2 incluyen sensores para rastrear hacia dónde miran los usuarios. Las interacciones basadas en la mirada pueden ayudarte a crear aplicaciones XR que se sientan más naturales y brinden una forma adicional de interactuar con el contenido. Para respaldar este tipo de interacción, hemos presentado el XR Gaze Interactor, controlado por poses de mirada ocular o de mirada de la cabeza. Puede utilizar este interactuador para realizar manipulaciones directas, como pasar el cursor sobre un elemento o seleccionarlo al detenerse en él.
Dado que generalmente no recomendamos que las aplicaciones se controlen completamente con los ojos, hemos introducido una forma adicional de controlador y asistencia de interacción basada en las manos para ayudar a los usuarios a seleccionar objetos específicos: XR Interactable Snap Volume. Este componente complementa al interactuador de mirada, ya que permite ajustar interacciones a un elemento interactivo cercano cuando se apunta a un área definida alrededor de un objeto. Los volúmenes instantáneos también se pueden utilizar sin el interactuador de mirada para permitir una selección de objetos más sencilla para los usuarios.
Tobii, líder mundial en tecnología de seguimiento ocular, colaboró con los conceptos y la investigación. Si está interesado en aprender más, puede explorar su base de conocimientos sobre conceptos de seguimiento ocular.
El uso de las manos para interactuar es diferente al uso de controladores en el sentido de que no hay respuesta háptica o táctil para confirmar cuándo se produce una interacción. El sistema de affordance, un conjunto de componentes de alto rendimiento que animan objetos o activan efectos de sonido en reacción al estado de interacción de un objeto, ayuda a mitigar esta brecha de retroalimentación. Este sistema está diseñado para funcionar con cualquier combinación de interactuadores e interactuables en proyectos nuevos y existentes.
El nuevo transformador de agarre general XR reduce la complejidad de la jerarquía y permite que un transformador de propósito general admita interacciones con una o dos manos en un dispositivo interactivo, en lugar de varios transformadores de agarre. También permite escalar con dos manos, lo que le permite escalar objetos hacia arriba o hacia abajo moviendo las manos separándolas o juntándolas, de forma similar a acercar y alejar el zoom en un teléfono móvil.
También hemos agregado un componente de Grupo de interacción. Este comportamiento permite a un desarrollador agrupar a los interactuadores y ordenarlos por prioridad, lo que permite que solo un único interactuador por grupo interactúe en un momento determinado. Por ejemplo, cuando un interactor Poke, Direct y Ray están agrupados, al tocar un botón se bloqueará temporalmente a los otros interactuadores para que no puedan interactuar con la escena. Esto puede evitar que agarres accidentalmente algo cercano cuando estás trabajando a distancia, y evita que los rayos se disparen hacia la escena mientras estás agarrando o empujando un objeto cercano.
Probar aplicaciones XR en un auricular es importante, pero probarlas en el editor ayuda a reducir el tiempo de iteración. En esta versión, el Simulador de dispositivo XR recibió una importante actualización de usabilidad con un nuevo widget de interfaz de usuario en pantalla que permite ver más fácilmente qué entradas impulsan el simulador y cuáles están activas actualmente.
También se han agregado nuevos modos de simulación para que puedas alternar entre los modos de control más utilizados. Al iniciarse, el simulador del dispositivo activa el nuevo modo de disparos en primera persona (FPS), que manipula el auricular y los controladores como si todo el jugador estuviera girando su torso. Luego puedes recorrer los otros modos para manipular dispositivos individuales: el auricular, el controlador izquierdo y el controlador derecho. Para utilizar el Simulador de dispositivo XR , importe la muestra desde el Administrador de paquetes.
Ha tardado mucho en llegar y nuestro proyecto de muestra actualizado finalmente está aquí. Muestra la variedad de bloques de creación de experiencias XR que puedes usar en XRI 2.3. El proyecto está dividido en estaciones que le ayudarán a comprender cómo funciona cada característica principal de XRI e incluye ejemplos simples y avanzados para cada una. Puedes acceder al proyecto de muestra en GitHub y usarlo para poner en marcha tu próxima aplicación XR .
Si bien aún es muy pronto para incorporar ojos y manos en el XR Interaction Toolkit, siempre estamos trabajando para facilitar la creación de experiencias XR expresivas. A medida que avanzamos hacia XRI 2.4 y más allá, agradeceríamos sus comentarios. También nos encantaría ver lo que construyes con estas herramientas, así que no dudes en incluir el hashtag #unityXRI cuando publiques en las redes sociales.