De XR Interaction Toolkit a UI Toolkit y URP: Cómo Unity Industry impulsa la formación aeronáutica XR única en su tipo

Nuestro caso de estudio reciente sobre NMY Mixed-Reality con sede en Fráncfort cuenta la historia de su plataforma de capacitación de empleados en XR para Lufthansa Group, que ofrece 20,000 sesiones de capacitación obligatorias automatizadas en XR al año. Los resultados son ahorros de costes y tiempo que cambian el juego para Lufthansa, incluyendo más del 75% de ahorro en costes operativos de formación y un 80% específicamente en costes de viaje de formadores.

Detrás de ese increíble ROI está la historia de cómo NMY desarrolló su conjunto de aplicaciones con Unity Industry. Este artículo explora los detalles de su proceso de desarrollo y cómo planean impulsar la tecnología para cumplir con sus ambiciosos planes en el futuro.

Conclusiones clave: Cómo Unity Industry impulsa la capacitación de empleados aeronáuticos conforme a las normativas de NMY para Lufthansa

• NMY utiliza Unity Industry para desarrollar, implementar y actualizar un ecosistema único de cursos de capacitación inmersiva obligatorios, cumpliendo con estrictas regulaciones de la industria, para diferentes roles de empleados en Lufthansa.
• 20,000 sesiones de capacitación obligatorias automatizadas al año se completan en las aplicaciones de NMY hechas con Unity Industry.
• La formación en XR proporciona grandes ventajas de aprendizaje y económicas para Lufthansa Group:
  • Pueden entrenar a sus empleados en el manejo de situaciones peligrosas, que son imposibles de escenificar con instrucción basada en analógicos, en un entorno virtual.
  • Según los propios datos de Lufthansa, el marco de capacitación XR reduce significativamente los costos de viaje tanto para los empleados como para los instructores.
• Las investigaciones internas y las encuestas empíricas a clientes de NMY muestran que la computación espacial y el aprendizaje basado en juegos logran una efectividad de aprendizaje 4 veces mayor en comparación con los entornos de aula tradicionales, la lectura manual o los videos de aprendizaje electrónico 2D.
• Los resultados son ahorros de costes y tiempo que cambian el juego para Lufthansa, incluyendo más del 75% de ahorro en costes operativos de formación, y un 80% específicamente en costes de viaje de formadores.
• Hay seis etapas en el ciclo de desarrollo de NMY con Unity Industry:
  • Fundación, configuración y arquitectura modular
  • Producción de activos y arte técnico
  • Diseño de interacción y desarrollo central de XR
  • Interfaz de usuario (UI) y Localization de contenido global
  • Optimización del rendimiento y entrega de contenido
  • Integración de sistemas y empresariales escalable
• Las características clave de Unity Industry de NMY incluyen:
  • XR Interaction Toolkit y XR Hands
  • UI Toolkit y el paquete Localization
  • Unity Package Manager
  • Canal de Renderizado Universal y Canal de Renderizado de Alta Definición

Un sistema de extremo a extremo, desde cursos de formación hasta certificación automatizada

NMY combina su experiencia en gemelos digitales profundos, creando modelos 3D físicamente exactos y de alto rendimiento de equipos propietarios, con simulaciones atractivas basadas en juegos, experiencia de usuario (UX) natural y narración de historias.

El software XR insignia de NMY para Lufthansa Group incluye formación en Seguridad de Aeronaves y formación profesional para Agente de Plataforma de Carga. Estas aplicaciones se dirigen a cascos de VR autónomos, tabletas móviles y navegadores web.

La capacitación obligatoria cumple con las estrictas regulaciones de la industria establecidas por la Luftfahrt-Bundesamt (LBA), la autoridad aeronáutica oficial alemana. La plataforma de NMY también debe entregar los resultados de los exámenes: su sistema evalúa los exámenes automáticamente y sincroniza las licencias aprobadas en tiempo real con el sistema de gestión del aprendizaje (LMS) y el sistema de programación de Lufthansa.

Cinco razones por las que la capacitación XR de NMY supera a los métodos analógicos

Según NMY, la formación en XR ofrece cinco beneficios revolucionarios que han provocado que Lufthansa reemplace en gran medida sus cursos antiguos basados en analógicos que se llevaban a cabo en maquetas físicas y aeronaves:

1. Inmersión realista a escala de habitación:
   1. El movimiento natural a escala de la habitación y la interacción espacial sin controlador acercan el entrenamiento a una experiencia de "holodeck" de la vida real (como la sala Holodeck de la serie de televisión Star Trek).
   2. Los aprendices entran en un gemelo digital 1:1 de su entorno de trabajo, creando una fuerte sensación de presencia física.
2. Alta efectividad de aprendizaje con enfoque profundo y memoria muscular: La propia investigación interna de NMY y las encuestas empíricas a clientes demuestran una efectividad de aprendizaje 4 veces mayor en comparación con los entornos de aula tradicionales, la lectura manual o los videos de aprendizaje electrónico 2D. Las razones para esto incluyen:
   1. Las Sequences de entrenamiento comienzan con señales y características visuales que se eliminan gradualmente, empujando a los alumnos a ejecutar procedimientos en una simulación realista basándose en la memoria muscular. Esto puede llevar a una mayor retención de conocimientos y a un recuerdo más rápido y seguro en situaciones críticas del mundo real.
   2. Los equipos pueden experimentar y resolver de forma segura peligros extremos virtuales, incendios y fallos críticos de equipos que son físicamente imposibles o demasiado peligrosos de simular en una aeronave real.
   3. En general, la VR inmersiva capta la atención del alumno y elimina las distracciones externas.
3. Ahorros importantes de costes y tiempo, incluida una reducción del 80% en los costes de viaje de los formadores:
   1. Para empleados: Ahora solo necesitan desplazarse local o regionalmente a su centro XR más cercano, con opción entre Bruselas, Frankfurt, Múnich y Zúrich.
   2. Para instructores sénior: Anteriormente tenían que volar desde la sede a Bruselas o Zúrich, reservar un hotel y perder dos días de productividad solo para realizar un examen de dos horas.
   3. Ahora, trabajan desde la sede central (por ejemplo, Frankfurt) y utilizan el NMY Operador del Sistema (a través de una tableta o un panel de escritorio) para conectarse de forma remota para la formación. Pueden ver exactamente lo que ve el aprendiz, evaluar el examen en tiempo real y activar escenarios de estrés en vivo (como humo o errores técnicos) con solo pulsar un botón.
4. La sinergia del gemelo digital: Una vez que una aeronave altamente compleja se digitaliza, ese mismo activo 3D se reutiliza en todo el grupo corporativo. Las tripulaciones de cabina lo usan para simulacros de seguridad y servicio, mientras que los equipos de carga lo usan para logística terrestre y manipulación técnica. Esta filosofía de "construir una vez, implementar infinitamente" maximiza el retorno de la inversión de los activos en toda la organización.
5. Alto compromiso del estudiante: Basado en el modelo de aprendizaje propietario de NMY, las mecánicas interactivas y gamificadas convierten el cumplimiento rutinario en una experiencia atractiva. Las encuestas posteriores a la formación muestran consistentemente que los alumnos prefieren esta formación intuitiva y práctica.

Unity Industry: La base técnica para la formación empresarial de XR en aviación

Unity Industry es la plataforma de desarrollo central de NMY, lo que les permite manejar todo el espectro de realidad mixta.

Como dice Sebastian Demmerle, CEO de NMY, "(Unity Industry) actúa como el motor principal que impulsa nuestra estrategia de software multiplataforma." Con la arquitectura y las herramientas flexibles de Unity, podemos llevar escenas 3D masivas y altamente complejas (como un Boeing 777F completo o interiores de cabina detallados) a dispositivos móviles de VR autónomos, así como a dispositivos de pantalla plana, y escalar y mantener estas aplicaciones de formación de alta fidelidad y críticas para la seguridad para el Grupo Lufthansa.

La canalización de "construir una vez, implementar en todas partes" de Unity permite a NMY permanecer agnóstico al hardware y seleccionar el dispositivo adecuado para las restricciones operativas, de seguridad o logísticas específicas de un cliente. Sus plataformas objetivo actuales son:

• Standalone y PCVR: Aplicaciones espaciales de alta inmersión implementadas en visores VR móviles, así como en configuraciones PCVR de alta gama y cableadas.
• Soportes móviles y de escritorio: Exportación perfecta de los mismos activos y lógica 3D a tabletas iOS/Android (control táctil), aplicaciones de escritorio (ratón/teclado) y navegadores web.

Construir un ecosistema XR a escala empresarial y certificado globalmente requiere una tubería de producción estructurada y optimizada. El equipo de desarrollo de NMY está compuesto por 15 a 20 profesionales, cuyo proceso de desarrollo principal se divide en las siguientes etapas.

1. Fundación, configuración y arquitectura modular

El proceso: Antes de importar datos CAD pesados de fabricantes de aeronaves, NMY estableció una arquitectura de proyecto robusta y modular. Debido a que este ecosistema abarca VR independiente, PCVR, tabletas y aplicaciones de escritorio, la reutilización del código y la gestión limpia de dependencias son fundamentales.

Su equipo técnico central, compuesto por ingenieros de software XR y desarrolladores de Unity, escribe la lógica en C# que impulsa las Sequences de entrenamiento y las mecánicas de interacción con el cliente. Al implementar soluciones de marco interno y sistemas modulares, sus ingenieros entregan una base estable, sostenible y confiable diseñada para la mantenibilidad a largo plazo.

Herramientas principales de Unity Industry:

• Unity Package Manager (UPM): UPM permitió a NMY encapsular sus sistemas propietarios en paquetes controlados por versiones, haciendo que la modularidad entre proyectos sea, según Sebastian Demmerle, "tan fácil como instalar un complemento".
• Unity ScriptableObject: Los ScriptableObjects son un componente esencial de la arquitectura del proyecto porque permiten un acoplamiento débil entre la capa de datos y los componentes ejecutables en la escena.
  • Facilitan a los desarrolladores de NMY la implementación de patrones de diseño como Model-View-Presenter incluso dentro de la capa de abstracción de un motor 3D. También les permiten implementar una amplia gama de enfoques basados en activos como sistemas de eventos, tipos o almacenes de variables compartibles, ayudando a mantener el código limpio y evitar el contexto estático.

"La arquitectura modular y extensible de Unity, junto con el potente framework C# .NET, la convierte en un conjunto de herramientas altamente flexible", dice Mark Peter, líder de equipo de desarrollo en NMY. Podemos crear rápidamente versiones MVP utilizando API de alto nivel. Al abordar desafíos más complejos, podemos aprovechar potentes características de bajo nivel como Addressables, DOTS (Data-Oriented Technology Stack), el compilador Burst y el sistema de trabajos de C# para ofrecer el rendimiento requerido. En última instancia, esto nos permite implementar formación aeronáutica de alta fidelidad y multiplataforma sin comprometer el realismo, incluso en VR independiente.

Más conocimientos técnicos de Unity

• Tutoriales de patrones de programación de juegos playlist
• Introducción a los conceptos, características y muestras de DOTS para desarrolladores avanzados de Unity
• Crear arquitectura de juego modular en Unity con ScriptableObjects

2. Producción de activos y arte técnico

El Proceso: Los equipos de arte 3D y tecnología de NMY optimizan todos los activos para garantizar que los entornos de aeronaves a escala 1:1 se ejecuten a tasas de fotogramas sin tartamudeo en GPUs móviles de VR. Esta etapa también implica integrar avatares humanos realistas para servir como entrenadores o pasajeros virtuales.

Además de la optimización de activos, los artistas técnicos de NMY configuran shaders, hornean la iluminación y utilizan el Universal Render Pipeline (URP) para mantener tasas de fotogramas con buen rendimiento. También aseguran que cada extintor virtual, puerta de cabina y cargador alto de carga se mueva y reaccione con una precisión física de 1:1.

Herramientas principales de Unity Industry:

• Canal de renderizado universal (URP): URP proporciona flujos de trabajo que permiten a artistas y artistas técnicos crear de manera eficiente gráficos optimizados en una variedad de plataformas, desde móviles hasta consolas y PC de gama alta.
• Calcular Lightmap Baker y xAtlas: Estos son cruciales para su optimización ambiental. Incrustan iluminación de alta fidelidad en las escenas estáticas y manejan el atlas de texturas, manteniendo bajo el uso de memoria mientras conservan el fotorrealismo.
• Shader Graph: Sus artistas técnicos pueden programar visualmente materiales dinámicos y personalizados (como vidrio interactivo, humo o resaltado de estados de peligro) sin una gran sobrecarga de código.
• Soporte de E/S de tubería: Utilizan tuberías de E/S para conectar software externo de animación de personajes directamente a Unity, incluyendo el traje de movimiento Rokoko, Character Creator (CC5) e iClone para crear movimientos realistas para los avatares digitales.

"Si no existe una herramienta específica, la arquitectura abierta de Unity nos permite desarrollarla nosotros mismos y escalarla en otros proyectos empresariales", dice Sebastian Demmerle.

Más conocimientos técnicos de Unity

• Crea shaders populares y efectos visuales con el Universal Render Pipeline
• Introducción a URP para creadores avanzados

3. Diseño de interacción y desarrollo central de XR

El Proceso: En esta etapa, los ingenieros de software construyen la lógica central de entrenamiento. El objetivo principal es eliminar la ansiedad tecnológica para el usuario final asegurando interacciones naturales e intuitivas con el entorno virtual en todas las plataformas compatibles.

Herramientas principales de Unity Industry:

• XR Interaction Toolkit y XR Hands: Estos paquetes forman la columna vertebral de su marco de entrenamiento. NMY implementó interacciones personalizadas específicas para el entrenamiento e interacciones manuales naturales para que las tripulaciones de vuelo y los agentes de rampa puedan operar herramientas virtuales, abrir puertas, accionar interruptores y agarrar extintores sin controladores torpes.
• Física 3D integrada de Unity: NMY aprovechó el motor de física 3D integrado de Unity y el High Definition Render Pipeline para replicar interiores de cabina, bodegas de carga y equipos pesados realistas a escala 1:1.

Más conocimientos técnicos de Unity

• Iluminación y entornos en el Render Pipeline de Alta Definición
• Crea una lista de reproducción de juegos VR Multiplayer
• Crea experiencias de realidad virtual y mixta en Unity

4. Interfaz de usuario (UI) y Localization de contenido global

El Proceso: Los diseñadores de UI e interacción implementan las interfaces espaciales y los flujos de usuario utilizando el Kit de Herramientas de UI de Unity. Trabajan con menús espaciales tanto para cascos de VR como con interfaces táctiles 2D escalables para las versiones de respaldo en iPad y escritorio.

Además, los módulos de capacitación deben dar soporte a la fuerza laboral internacional de Lufthansa con texto instructivo y voz en varios idiomas.

Herramientas principales de Unity Industry:

Kit de herramientas de interfaz de usuario: UI Toolkit se inspira en las tecnologías web estándar, lo que permite a los equipos separar la estructura, el estilo y el comportamiento de la interfaz de usuario, de manera similar a como lo harías con HTML, CSS y JavaScript. Para NMY, permite a sus diseñadores adaptar eficientemente un diseño de interfaz de usuario base para que se ajuste a diferentes clientes, tamaños de pantalla y tipos de dispositivos.

paquete de Localization de Unity: Este paquete está integrado directamente con proveedores de contenido externos como Google Sheets. Permite a expertos en la materia y clientes redactar, traducir y revisar cómodamente activos de texto multilingüe sin necesidad de tocar la compilación del motor.

Más conocimientos técnicos de Unity

• Crea una interfaz de usuario escalable y de alto rendimiento con UI Toolkit en Unity
• QuizU: Proyecto de muestra de UI Toolkit

5. Optimización del rendimiento y entrega de contenido

El Proceso: La etapa final de construcción se centra en la escalabilidad a largo plazo. En lugar de obligar a los clientes a descargar una actualización de aplicación masiva cada vez que se añade una nueva aeronave o escenario de entrenamiento, NMY desacopla el contenido pesado del núcleo de la aplicación para un Deployment fluido al centro XR.

Herramientas principales de Unity Industry:

paquete Addressables de Unity: Sebastian Demmerle se refiere al paquete Addressables como la "bala de plata" de su equipo para la gestión de memoria. En lugar de forzar a un visor VR móvil a asignar una aeronave completa a la vez, el paquete Addressables permite a NMY transmitir módulos muy detallados en y fuera de la memoria en tiempo de ejecución. Esto mantiene el uso de memoria de la GPU y el rendimiento óptimos.

El Unity Profiler: Los ingenieros de garantía de calidad de NMY dependen del Unity Profiler y otras herramientas de depuración en el motor para probar compilaciones multiplataforma, monitorear el uso de memoria para prevenir fallos de hardware y validar que la lógica de puntuación de examen automatizada se active correctamente bajo condiciones de estrés virtual como peligros de incendio, humo u operaciones complejas de carga de mercancías.

Más conocimientos técnicos de Unity

• Optimiza el rendimiento de tu juego para móviles, XR y la web en Unity
• Guía avanzada sobre la generación de perfiles de juegos de Unity

6. Integración de sistemas y empresariales escalable

El proceso: Unity actúa como el centro de conexión que une el software cliente interactivo de NMY con la arquitectura empresarial de back-end.

Herramientas principales de Unity Industry:

• La extensibilidad y las capacidades de integración de Unity: NMY puede vincular aplicaciones cliente de Unity a su panel de control propietario NMY System Operator, permitiendo a los instructores monitorear transmisiones de video en vivo, inyectar peligros de estrés en tiempo real (como humo o fallos del sistema) y evaluar a los aprendices de forma remota. Esta capacidad fundamental ha permitido a Lufthansa reducir los costos de viaje de los instructores en un 80%.
• APIs Personalizadas: Al integrar API personalizadas en Unity, las aplicaciones de NMY pueden comunicar los datos de aprobación o fracaso de exámenes directamente al sistema de gestión del aprendizaje (LMS) y a las bases de datos de RR. HH. de Lufthansa sin intervención manual.

El ecosistema de capacitación XR de NMY es solo el comienzo

"No estamos en la línea de meta", dice Sebastian Demmerle. Nuestra fundación de capacitación XR será el sistema operativo para un ecosistema empresarial mucho más grande. Nuestro enfoque es transformar esta plataforma de una herramienta de entrenamiento pura en un entorno de computación espacial inteligente e interconectado.

Sebastian y su equipo describieron sus próximos pasos para su ecosistema XR y cómo Unity les ayudará a llegar allí:

Escalar el ecosistema

El siguiente paso inmediato es la escalabilidad horizontal rápida. Están expandiéndose más allá de la seguridad de cabina y la manipulación de carga para incluir procedimientos complejos de Mantenimiento, Reparación y Revisión (MRO), familiarización de pilotos y despliegues de toda la flota (escalando desde un tipo de aeronave hasta toda la flota de Lufthansa).

Cómo ayuda Unity Industry: Seguirán dependiendo del paquete Addressables y del Unity Package Manager. Pueden crear los nuevos activos y la lógica 3D, y transmitirlos como contenido DLC modular a los centros de la aplicación existentes, asegurando una escalabilidad eficiente sin inflar la aplicación principal.

Incorporando soluciones de IA y escenarios dinámicos

Pasarán de escenarios de entrenamiento guionizados a entornos altamente dinámicos e impredecibles impulsados por IA. Buscan implementar PNJs (personajes no jugadores) inteligentes para un juego de rol realista, como desescalar pasajeros indisciplinados, interactuar con el control de tráfico aéreo o lidiar con cascadas de peligros generadas dinámicamente que se adaptan al nivel de habilidad del usuario.

Cómo ayuda Unity Industry: "Unity Sentis va a cambiar las reglas del juego para nosotros aquí", dice Sebastian Demmerle. Sentis nos permite ejecutar modelos avanzados de IA de redes neuronales localmente, directamente dentro del tiempo de ejecución de Unity en el visor de VR. Esto significa que podemos ofrecer comandos de voz impulsados por IA, traducción en tiempo real y avatares inteligentes con latencia cero en la nube y privacidad absoluta de los datos, lo cual es un requisito estricto para la seguridad de la aviación empresarial.

Robótica y automatización

La industria de la aviación se está moviendo rápidamente hacia la automatización de la plataforma. NMY quiere expandir sus Digital Twins para incluir remolques de equipaje autónomos, equipos robóticos de manipulación en tierra y teleoperación. El objetivo es utilizar el mismo entorno XR no solo para entrenar humanos, sino para simular, entrenar y monitorear sistemas robóticos del mundo real.

Cómo ayuda Unity Industry: Las capacidades de Unity Robotics permitirán a NMY conectar sensores robóticos del mundo real con su entorno virtual 3D. Podrán simular datos de LiDAR o de cámara en Unity para entrenar modelos de aprendizaje automático para los robots, o transmitir telemetría en tiempo real de robots de patio físicos a un gemelo digital de VR, permitiendo a los operadores humanos monitorear o teleoperar maquinaria de forma remota.

CTA: Aprende más sobre Unity Simulation Pro early access

Dispositivos vestibles avanzados, hápticos y biométricos

NMY tiene como objetivo integrar "dispositivos ponibles avanzados" en la experiencia XR, incluyendo guantes y trajes de retroalimentación háptica para simular la resistencia física de maquinaria pesada o fuego. También quieren usar seguimiento ocular y sensores biométricos para medir la carga cognitiva y los niveles de estrés de un aprendiz durante un examen. Y esperan apuntar a gafas inteligentes de RA ligeras para soporte de mantenimiento en el trabajo.

Cómo ayuda Unity Industry: Los paquetes Unity’s XR Plug-in Management, OpenXR, y XR Interaction Toolkit proporcionarán un puente estandarizado para incorporar los dispositivos vestibles avanzados sin tener que reescribir la lógica central de la aplicación.

"Unity ha sido nuestro compañero de confianza desde el primer día", dice Sebastian Demmerle. Esperamos ver cómo NMY continúa innovando en el futuro y impulsando las capacidades tecnológicas y gráficas de Unity Industry.