Do XR Interaction Toolkit para UI Toolkit e URP: Como a Unity Industry impulsiona treinamento de aviação XR único

Nosso estudo de caso recente sobre a NMY Mixed-Reality sediada em Frankfurt conta a história de sua plataforma de treinamento de funcionários em XR para o Grupo Lufthansa, que entrega 20.000 sessões de treinamento XR obrigatórias automatizadas por ano. Os resultados são economias de custo e tempo que mudam o jogo para a Lufthansa, incluindo mais de 75% de economia nos custos operacionais de treinamento e 80% especificamente nos custos de viagem de instrutores.

Por trás desse ROI incrível está a história de como a NMY desenvolveu sua suíte de aplicativos com Unity Industry. Este artigo explora os detalhes do processo de desenvolvimento e como planejam impulsionar a tecnologia para cumprir seus ambiciosos planos no futuro.

Principais conclusões: Como a Unity Industry impulsiona o treinamento de funcionários da aviação em conformidade da NMY para a Lufthansa

• NMY usa Unity Industry para desenvolver, implantar e atualizar um ecossistema único de cursos obrigatórios de treinamento imersivo, em conformidade com rigorosos regulamentos da indústria, para diferentes funções de funcionários na Lufthansa.
• 20.000 sessões de treinamento obrigatório automatizadas por ano são concluídas nas aplicações da NMY feitas com Unity Industry.
• O treinamento em XR proporciona grandes vantagens de aprendizado e econômicas para o Grupo Lufthansa:
  • Eles podem treinar seus funcionários no manuseio de situações perigosas, que são impossíveis de encenar com instrução baseada em analógico, em um ambiente virtual.
  • Com base nos próprios dados da Lufthansa, a estrutura de treinamento XR reduz significativamente os custos de viagem tanto para funcionários quanto para instrutores.
• As pesquisas internas e as pesquisas empíricas de clientes da NMY mostram que computação espacial e aprendizado baseado em jogos alcançam uma eficácia de aprendizado 4x maior em comparação com ambientes de sala de aula tradicionais, leitura manual ou vídeos de e-learning 2D.
• Os resultados são economias de custo e tempo que mudam o jogo para a Lufthansa, incluindo mais de 75% de economia nos custos operacionais de treinamento e 80% especificamente nos custos de viagem de instrutores.
• Existem seis estágios no ciclo de desenvolvimento da NMY com Unity Industry:
  • Fundação, configuração e arquitetura modular
  • Produção de ativos e arte técnica
  • Design de interação e desenvolvimento central de XR
  • Interface do usuário (UI) e Localization de conteúdo global
  • Otimização de desempenho e entrega de conteúdo
  • Integração de sistemas e empresarial escalável
• Os recursos chave da Unity Industry da NMY incluem:
  • XR Interaction Toolkit e XR Hands
  • UI Toolkit e pacote de Localization
  • Package Manager do Unity
  • Pipeline de Renderização Universal e Pipeline de Renderização de Alta Definição

Um sistema de ponta a ponta, de cursos de treinamento a certificação automatizada

A NMY combina sua experiência em gêmeos digitais profundos – criando modelos 3D fisicamente exatos e de alto desempenho de equipamentos proprietários – com simulações envolventes baseadas em jogos, experiência do usuário (UX) natural e narrativa.

O software XR principal da NMY para o Grupo Lufthansa inclui treinamento de Segurança de Aeronaves e treinamento vocacional de Agente de Carga de Plataforma. Estes aplicativos visam headsets VR autônomos, tablets móveis e navegadores da web.

O treinamento obrigatório cumpre os rigorosos regulamentos da indústria estabelecidos pela Luftfahrt-Bundesamt (LBA), a autoridade alemã oficial de aviação. A plataforma da NMY também precisa entregar os resultados dos exames: o sistema deles avalia os exames automaticamente e sincroniza as licenças aprovadas em tempo real com o sistema de gestão de aprendizagem corporativa (LMS) e o sistema de escalonamento da Lufthansa.

Cinco razões pelas quais o treinamento XR da NMY supera os métodos analógicos

De acordo com a NMY, o treinamento XR oferece cinco benefícios revolucionários que resultaram no Lufthansa substituir em grande parte seus cursos mais antigos, baseados em analógicos, que ocorriam em maquetes físicas e aeronaves:

1. Imersão realista em escala de sala:
   1. Movimento natural em escala de sala e interação espacial sem controlador aproximam o treinamento de uma experiência de "holodeck" da vida real (como na sala Holodeck da série de televisão Star Trek).
   2. Os estagiários entram em um gêmeo digital 1:1 de seu ambiente de trabalho, criando um forte senso de presença física.
2. Alta eficácia de aprendizado com foco profundo e memória muscular: As próprias pesquisas internas e pesquisas empíricas de clientes da NMY demonstram uma eficácia de aprendizado 4x maior em comparação com ambientes de sala de aula tradicionais, leitura manual ou vídeos de e-learning 2D. Os motivos para isso incluem:
   1. Sequences de treinamento começam com pistas visuais e recursos que são gradualmente eliminados, forçando os alunos a executar procedimentos em uma simulação realista, contando com a memória muscular. Isso pode levar a uma maior retenção de conhecimento e a uma recuperação mais rápida e confiante em situações críticas do mundo real.
   2. As equipes podem experimentar e resolver com segurança perigos extremos virtuais, incêndios e falhas críticas de equipamentos que são fisicamente impossíveis ou muito perigosos de simular em uma aeronave real.
   3. No geral, a VR imersiva captura a atenção do aprendiz e elimina distrações externas.
3. Grandes economias de custo e tempo, incluindo redução de 80% nos custos de viagem dos instrutores:
   1. Para funcionários: Eles agora só precisam se deslocar local ou regionalmente até o seu hub XR mais próximo, com escolha entre Bruxelas, Frankfurt, Munique e Zurique.
   2. Para instrutores seniores: Eles anteriormente tinham que voar da sede para Bruxelas ou Zurique, reservar um hotel e perder dois dias de produtividade apenas para realizar um exame de duas horas.
   3. Agora, eles trabalham a partir da sede (por exemplo, Frankfurt) e usam o NMY Operador do Sistema (via tablet ou painel de desktop) para ligar remotamente para treinamento. Eles podem ver exatamente o que o estagiário vê, avaliar o exame em tempo real e acionar cenários de estresse ao vivo (como fumaça ou erros técnicos) com o toque de um botão.
4. A sinergia do gêmeo digital: Uma vez que uma aeronave altamente complexa é digitalizada, esse mesmo ativo 3D é reutilizado em todo o grupo corporativo. As tripulações de cabine usam para exercícios de segurança e serviço, enquanto as equipes de carga usam para logística terrestre e manuseio técnico. Essa filosofia de "construir uma vez, implantar infinitamente" maximiza o ROI dos ativos em toda a organização.
5. Alto engajamento do aluno: Fundamentadas no modelo de aprendizado proprietário da NMY, as mecânicas interativas e gamificadas transformam a conformidade de rotina em uma experiência envolvente. Pesquisas pós-treinamento mostram consistentemente que os alunos preferem este treinamento intuitivo e prático.

Unity Industry: A base técnica para o treinamento XR de empresas de aviação

Unity Industry é a plataforma de desenvolvimento central da NMY, permitindo-lhes lidar com todo o espectro de realidade mista.

Como Sebastian Demmerle, CEO da NMY, diz, "(Unity Industry) atua como o principal motor que impulsiona nossa estratégia de software multiplataforma." Com a arquitetura e ferramentas flexíveis da Unity, podemos levar cenas 3D massivas e altamente complexas (como um Boeing 777F inteiro ou interiores de cabine detalhados) para dispositivos móveis de VR autônomos, bem como para dispositivos de tela plana, e escalar e manter esses aplicativos de treinamento de alta fidelidade e críticos para a segurança para o Grupo Lufthansa.”

O pipeline "build once, deploy everywhere" da Unity permite que a NMY permaneça agnóstica a hardware e selecione o dispositivo certo para as restrições operacionais, de segurança ou logísticas específicas de um cliente. Suas plataformas de destino atuais são:

• Standalone e PCVR: Aplicações espaciais de alta imersão implantadas em headsets móveis de VR, bem como em configurações de PCVR de ponta e com fio.
• Recuos para celular e desktop: Exportando perfeitamente os mesmos ativos e lógica 3D para tablets iOS/Android (controle por toque), aplicativos de desktop (mouse/teclado) e navegadores web.

Construir um ecossistema XR em escala empresarial e certificado globalmente requer um pipeline de produção estruturado e otimizado. A equipe de desenvolvimento da NMY é composta por 15 a 20 profissionais, com seu principal processo de desenvolvimento dividido nas seguintes etapas.

1. Fundação, configuração e arquitetura modular

O processo: Antes de importar dados CAD pesados de fabricantes de aeronaves, a NMY estabeleceu uma arquitetura de projeto robusta e modular. Como este ecossistema abrange VR autônomo, PCVR, tablets e aplicações de desktop, a reutilização do código e o gerenciamento de dependências limpo são críticos.

Sua equipe técnica principal, composta por engenheiros de software XR e desenvolvedores Unity, escreve a lógica C# que impulsiona as Sequences de treinamento e as mecânicas de interação com o cliente. Ao implantar soluções de framework internas e sistemas modulares, seus engenheiros entregam uma base estável, sustentável e confiável, projetada para manutenção a longo prazo.

Principais ferramentas da Unity Industry:

• Unity Package Manager (UPM): A UPM permitiu que a NMY encapsulasse seus sistemas proprietários em pacotes controlados por versão, tornando a modularidade entre projetos, segundo Sebastian Demmerle, "tão fácil quanto instalar um plugin".
• Unity ScriptableObject: ScriptableObjects são um componente essencial da arquitetura do projeto porque permitem um acoplamento frouxo entre a camada de dados e os componentes executáveis na cena.
  • Eles facilitam para os desenvolvedores da NMY implementar padrões de design como Model-View-Presenter mesmo dentro da camada de abstração de um motor 3D. Eles também permitem que implementem uma ampla gama de abordagens baseadas em ativos, como sistemas de eventos, tipos ou armazenamentos de variáveis compartilháveis, ajudando a manter o código limpo e evitar contexto estático.

"A arquitetura modular e extensível da Unity, combinada com o poderoso framework C# .NET, a torna um conjunto de ferramentas altamente flexível," diz Mark Peter, líder de desenvolvimento da NMY. Podemos criar rapidamente builds de MVP usando APIs de alto nível. Ao enfrentar desafios mais complexos, podemos alavancar recursos poderosos de baixo nível como Addressables, DOTS (Data-Oriented Technology Stack), o compilador Burst e o sistema de jobs C# para entregar o desempenho necessário. Em última análise, isso nos permite implementar treinamento de aviação de alta fidelidade e multiplataforma sem comprometer o realismo, mesmo em VR autônomo.

Mais conhecimento técnico da Unity

• Playlist de tutoriais de padrões de programação de jogos
• Introdução aos conceitos, recursos e amostras do DOTS para desenvolvedores avançados do Unity
• Crie arquitetura de jogo modular no Unity com ScriptableObjects

2. Produção de ativos e arte técnica

O Processo: As equipes de arte 3D e tecnologia da NMY otimizam todos os ativos para garantir que os ambientes de aeronaves em escala 1:1 funcionem com taxas de quadros sem travamentos em GPUs móveis de VR. Esta fase também envolve a integração de avatares humanos realistas para servir como treinadores ou passageiros virtuais.

Além da otimização de ativos, os artistas técnicos da NMY configuram shaders, pré-calculam iluminação e usam o Universal Render Pipeline (URP) para manter taxas de quadros de alto desempenho. Eles também garantem que cada extintor de incêndio virtual, porta da cabine e carregador de carga se mova e reaja com precisão física de 1:1.

Principais ferramentas da Unity Industry:

• Pipeline de Renderização Universal (URP): O URP fornece fluxos de trabalho que permitem que artistas e artistas técnicos criem de forma eficiente gráficos otimizados em uma variedade de plataformas, de dispositivos móveis a consoles e PCs de ponta.
• Compilar Lightmap Baker e xAtlas: Estes são cruciais para a otimização do seu ambiente. Eles incorporam iluminação de alta fidelidade nas cenas estáticas e gerenciam o atlasing de texturas, mantendo o uso de memória baixo enquanto preservam o fotorrealismo.
• Shader Graph: Seus artistas técnicos podem criar scripts visuais de materiais dinâmicos e personalizados (como vidro interativo, fumaça ou destaque de estados de perigo) sem grande sobrecarga de código.
• Suporte a E/S de Pipeline: Eles usam pipelines de E/S para conectar software externo de animação de personagens diretamente ao Unity, incluindo o traje de movimento Rokoko, Character Creator (CC5) e iClone para criar movimentos realistas para os avatares digitais.

"Se uma ferramenta específica não existe, a arquitetura aberta da Unity nos permite desenvolvê-la nós mesmos e escalá-la em outros projetos empresariais", diz Sebastian Demmerle.

Mais conhecimento técnico da Unity

• Crie shaders populares e efeitos visuais com o Universal Render Pipeline
• Introdução ao URP para criadores avançados

3. Design de interação e desenvolvimento central de XR

O Processo: Nesta fase, os engenheiros de software constroem a lógica central de treinamento. O objetivo principal é eliminar a ansiedade tecnológica para o usuário final, garantindo interações naturais e intuitivas com o ambiente virtual em todas as plataformas suportadas.

Principais ferramentas da Unity Industry:

• XR Interaction Toolkit e XR Hands: Estes pacotes formam a espinha dorsal da sua estrutura de treinamento. A NMY implementou interações personalizadas específicas para o treinamento e interações manuais naturais para que as tripulações de voo e agentes de rampa possam operar ferramentas virtuais, abrir portas, acionar interruptores e pegar extintores de incêndio sem controladores desajeitados.
• Física 3D integrada do Unity: A NMY alavancou o motor de física 3D integrado da Unity e o High Definition Render Pipeline para replicar interiores de cabine, porões de carga e equipamentos pesados realistas em escala 1:1.

Mais conhecimento técnico da Unity

• Iluminação e ambientes no High Definition Render Pipeline
• Faça uma playlist de jogos VR Multiplayer
• Crie experiências de realidade virtual e mista no Unity

4. Interface do usuário (UI) e Localization de conteúdo global

O Processo: Designers de UI e interação implementam as interfaces espaciais e os fluxos de usuário usando o UI Toolkit da Unity. Eles trabalham com menus espaciais para headsets VR e interfaces de toque 2D escaláveis para as versões de fallback no iPad e desktop.

Além disso, os módulos de treinamento devem dar suporte à força de trabalho internacional da Lufthansa com texto instrucional e narração disponíveis em vários idiomas.

Principais ferramentas da Unity Industry:

UI Toolkit: O UI Toolkit é inspirado em tecnologias web padrão, permitindo que as equipes separem a estrutura, o estilo e o comportamento da UI, de forma semelhante ao que você faria com HTML, CSS e JavaScript. Para NMY, permite que seus designers adaptem eficientemente um design de UI base para se adequar a diferentes clientes, tamanhos de tela e tipos de dispositivos.

pacote de Localization Unity: Este pacote é integrado diretamente com provedores de conteúdo externos como o Google Sheets. Permite que especialistas no assunto e clientes criem, traduzam e revisem confortavelmente ativos de texto multilíngue sem precisar mexer na compilação do motor.

Mais conhecimento técnico da Unity

• Crie uma UI escalável e performática com UI Toolkit no Unity
• QuizU: Projeto de amostra do UI Toolkit

5. Otimização de desempenho e entrega de conteúdo

O Processo: A fase final de construção foca na escalabilidade a longo prazo. Em vez de forçar os clientes a baixar uma atualização de aplicativo massiva toda vez que um novo avião ou cenário de treinamento é adicionado, o NMY desacopla o conteúdo pesado do shell da aplicação principal para um Deployment contínuo no hub XR.

Principais ferramentas da Unity Industry:

pacote Unity Addressables: Sebastian Demmerle se refere ao pacote Addressables como a "bala de prata" da equipe dele para gerenciamento de memória. Em vez de forçar um headset VR móvel a alocar uma aeronave inteira de uma vez, o pacote Addressables permite que a NMY transmita módulos altamente detalhados para dentro e para fora da memória em tempo de execução. Isso mantém o uso de memória da GPU e o desempenho otimizados.

O Unity Profiler: Os engenheiros de garantia de qualidade da NMY dependem do Unity Profiler e de outras ferramentas de depuração no motor para testar builds multiplataforma, monitorar o uso de memória para evitar falhas de hardware e validar se a lógica de pontuação de exame automatizado é acionada corretamente sob condições de estresse virtual como riscos de incêndio, fumaça ou operações complexas de carregamento de carga.

Mais conhecimento técnico da Unity

• Otimize o desempenho do seu jogo para dispositivos móveis, XR e web no Unity
• Guia definitivo para a criação de perfis de jogos no Unity

6. Integração de sistemas e empresarial escalável

O processo: A Unity atua como o hub central conectando o software cliente interativo da NMY com a arquitetura empresarial de back-end.

Principais ferramentas da Unity Industry:

• A extensibilidade e as capacidades de integração da Unity: O NMY pode vincular aplicações cliente Unity ao seu painel proprietário NMY System Operator, permitindo que os instrutores monitorem feeds de vídeo ao vivo, injetem perigos de estresse em tempo real (como fumaça ou falhas do sistema) e avaliem os trainees remotamente. Esta capacidade fundamental permitiu à Lufthansa reduzir os custos de viagens de treinadores em 80%.
• APIs Personalizadas: Ao integrar APIs personalizadas no Unity, os aplicativos da NMY podem comunicar dados de aprovação ou reprovação em exames diretamente para o sistema de gestão de aprendizagem (LMS) e bancos de dados de RH da Lufthansa sem intervenção manual.

O ecossistema de treinamento XR da NMY é apenas o começo

"Nós não estamos na linha de chegada", diz Sebastian Demmerle. "Nossa fundação de treinamento XR será o sistema operacional para um ecossistema empresarial muito maior." Nosso foco é transformar esta plataforma de uma ferramenta de treinamento pura em um ambiente de computação espacial inteligente e interconectado.

Sebastian e sua equipe delinearam seus próximos passos para seu ecossistema XR e como o Unity os ajudará a chegar lá:

Escalando o ecossistema

O próximo passo imediato é o escalonamento horizontal rápido. Eles estão expandindo além da segurança da cabine e manuseio de carga para incluir procedimentos complexos de Manutenção, Reparo e Revisão (MRO), familiarização de pilotos e implantações de frota completa (escalando de um tipo de aeronave para toda a frota da Lufthansa).

Como a Unity Industry ajuda: Eles continuarão a depender do pacote Addressables e do Unity Package Manager. Eles podem criar os novos ativos e lógica 3D e transmiti-los como conteúdo DLC modular para os hubs de aplicação existentes, garantindo escalabilidade eficiente sem inchar o aplicativo principal.

Incorporando soluções de IA e cenários dinâmicos

Eles passarão de cenários de treinamento roteirizados para ambientes altamente dinâmicos e imprevisíveis impulsionados por IA. Eles pretendem implementar NPCs (personagens não jogáveis) inteligentes para roleplay realista, como desescalar passageiros indisciplinados, interagir com o controle de tráfego aéreo ou lidar com cascatas de perigos geradas dinamicamente que se adaptam ao nível de habilidade do usuário.

Como a Unity Industry ajuda: "Unity Sentis será um divisor de águas para nós aqui", diz Sebastian Demmerle. "Sentis nos permite executar modelos avançados de IA de rede neural localmente, diretamente no runtime do Unity no headset VR." Isso significa que podemos fornecer comandos de voz orientados por IA, tradução em tempo real e avatares inteligentes com latência de nuvem zero e privacidade absoluta de dados, o que é um requisito estrito para a segurança da aviação empresarial."

Robótica e automação

A indústria da aviação está avançando rapidamente em direção à automação de pátios. A NMY quer expandir seus Digital Twins para incluir reboques de bagagem autônomos, equipamentos robóticos de manuseio de solo e teleoperação. O objetivo é usar o mesmo ambiente XR não apenas para treinar humanos, mas para simular, treinar e monitorar sistemas robóticos do mundo real.

Como a Unity Industry ajuda: As capacidades da Unity Robotics permitirão que a NMY conecte sensores robóticos do mundo real com seu ambiente virtual 3D. Eles poderão simular dados LiDAR ou de câmera no Unity para treinar modelos de aprendizado de máquina para os robôs, ou transmitir telemetria em tempo real de robôs de pátio físicos para um gêmeo digital VR, permitindo que operadores humanos monitorem ou teleoperem máquinas remotamente.

CTA: Saiba mais sobre Unity Simulation Pro early access

Dispositivos vestíveis avançados, hápticos e biométricos

A NMY visa integrar "dispositivos vestíveis avançados" na experiência XR, incluindo luvas e trajes de feedback tátil para simular a resistência física de máquinas pesadas ou fogo. Eles também querem usar rastreamento ocular e sensores biométricos para medir a carga cognitiva e os níveis de estresse de um trainee durante um exame. E eles esperam mirar em óculos inteligentes de RA leves para suporte de manutenção no trabalho.

Como a Unity Industry ajuda: Os pacotes Unity’s XR Plug-in Management, OpenXR, e XR Interaction Toolkit fornecerão uma ponte padronizada para incorporar os dispositivos vestíveis avançados sem ter que reescrever a lógica central da aplicação.

"A Unity tem sido nossa companheira de confiança desde o primeiro dia", diz Sebastian Demmerle. Aguardamos para ver como a NMY continua a inovar no futuro e a impulsionar as capacidades de tecnologia e gráficos da Unity Industry.