IA adaptativa encontra XR: Como os Lucid Reality Labs e Unity redefinem o treinamento médico prático

Capacitando a educação com o auxílio da tecnologia para melhorar os resultados dos pacientes: Um estudo de caso da Unity

Combinando mentoria adaptativa de IA e simulação imersiva para auxiliar na prática de procedimentos de alto risco.

A Lucid Reality Labs é líder em soluções empresariais de realidade estendida (XR) e inteligência artificial (IA), e parceira de longa data da Unity , especializada em gêmeos digitais, treinamento e simulação imersivos, aprimoramento de desempenho, ativação espacial de produtos e IA ativa.

A empresa, que faz parte do programa Unity Partner , cria conteúdo imersivo de alta fidelidade que aprimora o aprendizado, agiliza processos e facilita a tomada de decisões baseada em dados em setores de alto risco, como robótica, saúde, manufatura e educação. Sua missão é reduzir riscos, aumentar a proficiência da força de trabalho e otimizar operações complexas, proporcionando aos clientes crescimento mensurável, maior eficiência e precisão aprimorada – tudo isso gerando um impacto significativo e centrado no ser humano.

A Lucid Reality Labs trabalha com organizações líderes para abordar desafios operacionais reais por meio de soluções XR inteligentes e imersivas, construídas na Unity. Adotando uma estratégia focada nos negócios, a empresa conecta os fluxos de trabalho e os KPIs de cada cliente às funcionalidades da Unity, produzindo aplicativos escaláveis ​​e independentes de plataforma que permitem às equipes praticar, aprender e trabalhar em qualquer lugar.

Prova na prática: Impacto em resumo

A combinação da precisão de um ambiente imersivo com a orientação adaptativa da IA ​​prepara melhor os anestesiologistas para os desafios do mundo real. Essa abordagem demonstrou benefícios mensuráveis ​​no desenvolvimento da confiança clínica e na preparação para procedimentos.

Os principais resultados da solução da Lucid Reality Labs incluem:

• 437 participantes de 18 países completaram 491 simulações de intubação.
• 71% dos profissionais clínicos consideraram o simulador útil para o ensino e 65% manifestaram interesse em adotá-lo para treinamento contínuo .
• Os participantes relataram melhor compreensão dos procedimentos, memória muscular mais forte e desempenho mais rápido nas sessões subsequentes.
• O feedback adaptativo em tempo real permitiu uma correção de erros mais rápida e curvas de aprendizagem mais curtas, melhorando a retenção de habilidades.
• A estrutura escalável e repetível do sistema garante experiências de treinamento consistentes e de alta qualidade em todas as instituições e regiões.

A solução de simulação de intubação em realidade XR) com agente médico de IA integrado, desenvolvida para a Medtronic e baseada na Unity, foi reconhecida pelos prêmios Auggie , Webby e Telly por sua inovação em IA e tecnologia imersiva. Esse sucesso reforça o valor da educação imersiva, apoiada por IA, no avanço do desenvolvimento de habilidades médicas e na melhoria dos resultados para os pacientes.

Um estudo internacional publicado no British Journal of Anaesthesia validou o impacto desse treinamento imersivo com suporte de IA, demonstrando melhorias significativas na compreensão do procedimento, na memória muscular e no desempenho geral.

Como reconhecimento adicional do seu impacto, esta solução foi recentemente apresentada pela Samsung como uma solução transformadora para a área da saúde durante o evento de lançamento do Galaxy XR em outubro de 2025. Apresentado ao vivo pelo Prof. Dr. Patrick Schoettker, trata-se de uma prova convincente de como a plataforma em tempo real da Unity possibilita o treinamento XR em escala empresarial na próxima geração de dispositivos Android XR .

A necessidade urgente de treinamento médico escalável e baseado em dados.

O mundo enfrentará uma escassez de 10 milhões de profissionais de saúde até 2030 . As tecnologias de IA e XR podem ajudar a superar essa lacuna, reduzindo as disparidades de treinamento, ampliando o acesso à orientação especializada, aprimorando a segurança do paciente e ampliando o desenvolvimento de habilidades clínicas.

O treinamento em anestesiologia exige precisão, adaptabilidade e execução impecável. No entanto, os modelos tradicionais enfrentam barreiras persistentes, como o acesso limitado a instrutores especializados, a dependência de laboratórios de simulação física e a dificuldade em expor os alunos a cenários de pacientes complexos ou raros. Essas limitações dificultam a escalabilidade, reduzem a consistência e afetam a prontidão para aplicações no mundo real.

Pesquisas mostram que mesmo médicos experientes precisam de prática contínua e presencial para manter a confiança e aprimorar a tomada de decisões em diferentes perfis de pacientes e configurações de equipamentos. Isso demonstra a necessidade de um sistema de treinamento flexível e baseado em dados, que permita simulações escaláveis ​​e de alta fidelidade e que possa fornecer feedback personalizado em um ambiente seguro e controlado.

Transformando o treinamento de intubação com IA adaptativa e realidade estendida.

O treinamento imersivo de intubação com inteligência artificial, desenvolvido pela Lucid Reality Labs para a Medtronic e baseado na Unity, foi criado em colaboração com o Hospital Universitário de Lausanne (CHUV) e o Prof. Dr. Patrick Schoettker, Chefe do Departamento de Anestesiologia. Este treinamento médico redefine a educação liderada por especialistas por meio de mentoria adaptativa de IA e simulação imersiva de realidade estendida (XR) .

A experiência recria uma sala de cirurgia do futuro com alta fidelidade.que permite aos médicos praticar com segurança procedimentos complexos de intubação sob a orientação de um gêmeo digital do Dr., alimentado por IA. Schoettker. O mentor de IA fornece feedback em tempo real, justificativa clínica e orientação passo a passo alinhada aos protocolos médicos.

Os alunos progridem por meio de diversos perfis de pacientes e níveis de dificuldade. O sistema mede precisão, tempo e tomada de decisões, fornecendo feedback e sugestões para o desenvolvimento de habilidades individuais.

Concebido como um ambiente de aprendizagem prática e sem riscos, permite que os profissionais clínicos se capacitem a qualquer hora e em qualquer lugar – em hospitais, universidades ou locais de aprendizagem remota – garantindo atualizações contínuas para refletir os padrões médicos e o conhecimento especializado relevante.

O sistema de treinamento utiliza o XR Framework e o Interaction Toolkit da Unity para garantir consistência entre plataformas, modularidade e simulação em tempo real de alta fidelidade. Partindo dessa base, a plataforma proprietária iXR™ da Lucid Reality Labs funciona em sinergia com o Unity, integrando-seColaboração multifacetada, análise de dados e gerenciamento seguro de conteúdo dentro de um ecossistema unificado que combina precisão clínica com escalabilidade empresarial.

Made with Unity: Abordagem técnica e construção

A Unity está no núcleo da simulação, aprimorada pelo Unity XR Framework, pelo XR Interaction Toolkit e pela plataforma proprietária iXR™ da Lucid Reality Labs. Essa combinação cria uma base flexível para design modular, simulação de múltiplas funções, análises robustas e entrega de conteúdo integrada. A plataforma iXR™ introduz insights baseados em dados, cenários de aprendizagem adaptativos e rastreamento preciso de desempenho, essenciais para simulação de nível médico, ampliando as capacidades do Unity.

• DevOps criado para escalabilidade e consistência: Um pipeline seguro de integração contínua/implantação contínua ( CI/CD) formou a espinha dorsal da escalabilidade e confiabilidade. As equipes de desenvolvimento e controle de qualidade trabalharam em um ambiente DevOps unificado, que incluía testes automatizados, controle de versão e implantação simplificada. Cada versão foi validada em dispositivos XR compatíveis com tempo de inatividade mínimo, permitindo iterações rápidas, reduzindo a intervenção manual e garantindo atualizações estáveis ​​e com controle de versão para treinamento clínico de alto risco.
• Arquitetura independente de dispositivo: Desenvolvida em Unity usando o OpenXR Plugin , a simulação é, por princípio, independente do hardware. Seja utilizando dispositivos de rastreamento de mãos, headsets com controladores ou dispositivos de rastreamento ocular, a experiência permanece consistente e intuitiva, permitindo a implementação em hospitais, universidades e centros de treinamento em todo o mundo, independentemente do hardware de XR .
• Desempenho, confiabilidade e realismo: Para atender às exigências de precisão do treinamento clínico, a equipe implementou renderização adaptativa, otimização de latência e análise profunda de desempenho. O resultado são taxas de quadros suaves e de nível clínico, com interação responsiva com o instrumento, suportadas pela telemetria da plataforma iXR™ para refinamento contínuo e ciclos de feedback em tempo real.

Por que Unity?

A Lucid Reality Labs escolheu a Unity por seu desempenho comprovado em tempo real, escalabilidade multiplataforma e o ecossistema de desenvolvimento XR mais abrangente do setor.

A tecnologia principal da Unity que alimenta a solução inclui:

• Gerenciamento do Unity XR com o OpenXR Plugin - Oferece desempenho consistente em diversos dispositivos por meio de uma interface unificada para implantação em múltiplos hardwares.
• XR Interaction Toolkit - Proporciona uma interação intuitiva e fisicamente precisa com instrumentos e pacientes, essencial para o realismo dos procedimentos.
• Universal Render Pipeline (URP) - Equilibra a saída visual de alta fidelidade com o desempenho otimizado para headsets independentes.
• Modo Batch do Unity para CI/CD - Automatiza os pipelines de teste e compilação, melhorando a velocidade de entrega e a estabilidade do aplicativo.
• Ferramentas de Perfil de Desempenho - Permitem otimização profunda, garantindo taxas de quadros de nível clínico e confiabilidade sustentada.

Processo de concepção à implementação: Do protótipo ao treinamento de XR de nível clínico

1. Design centrado no profissional de saúde: Criada para e com a participação de profissionais da saúde , a simulação foi desenvolvida em torno de fluxos de trabalho médicos autênticos e necessidades de treinamento. Cada etapa do projeto focou no realismo, espelhando o fluxo de procedimentos, os padrões de segurança e os pontos de decisão clínica para alinhar as métricas de sucesso com os resultados reais da sala de cirurgia.

2. Protótipo e teste: Os primeiros protótipos em Unity foram criados para validar os modelos de interação, a lógica do mentor de IA e o fluxo de UX. Os testes iterativos com anestesiologistas e educadores clínicos forneceram feedback contínuo, refinando o realismo, a usabilidade e a precisão instrucional para atender às expectativas educacionais e operacionais.

3. Integração de conteúdo e análise: Os cenários procedimentais, os instrumentos e os indicadores de desempenho foram desenvolvidos em paralelo com os objetivos de aprendizagem. Os fluxos de trabalho Analytics foram incorporados desde o início usando o iXR™, permitindo a captura de dados em tempo real, o acompanhamento mensurável do progresso e a melhoria contínua ao longo das sessões de treinamento.

4. Otimizar e pilotar: A experiência foi otimizada para diferentes dispositivos de XR) e testada sob condições extremas com especialistas no assunto para validar a precisão, a estabilidade e a autenticidade clínica. As informações obtidas por meio de telemetria em sessões piloto contribuíram para os ajustes finais, garantindo consistência, confiabilidade e prontidão para implantação em larga escala.

Principais funcionalidades da simulação de saúde em XR

A experiência combina realismo imersivo, mentoria adaptativa por IA e telemetria de nível clínico para ampliar o treinamento de especialistas de forma segura e consistente.

• Simulação hiper-realista de sala de cirurgia : Simula o ritmo clínico real, a configuração e a pressão do procedimento com ajuste dinâmico de dificuldade para aumentar a confiança e reduzir a carga cognitiva.
• Mentor de IA (Gêmeo Digital) : Um gêmeo digital inteligente de um anestesiologista renomado fornece orientação em tempo real, raciocínio clínico e feedback adaptativo alinhado a protocolos médicos validados.
• Desenho validado por clínicos : Desenvolvido com especialistas em anestesiologia para reproduzir equipamentos, fluxos de trabalho e padrões de segurança reais, visando a transferência direta de habilidades para o mundo real.
• Análise de desempenho e avaliação objetiva : Mede o tempo, a precisão da sequência, o manuseio dos instrumentos e a tomada de decisões para análises estruturadas e desenvolvimento contínuo de habilidades.
• Integridade de dados e governança segura : A plataforma iXR™ gerencia conteúdo, funções de usuário e análises com rastreabilidade completa, controle de versão e tratamento de dados em conformidade com as normas.
• Resultados baseados em evidências : Cada sessão regista interações e resultados, permitindo uma análise mensurável da progressão das competências, da qualidade da formação e da retenção da aprendizagem.

Escalando da simulação para o treinamento adaptativo de IA

Do protótipo ao padrão global de treinamento, o projeto progrediu por três grandes fases de inovação, cada uma ampliando o impacto da educação médica baseada em Unity:

Etapa 1 - Fundamentos de Realidade Virtual

Um módulo de treinamento imersivo para manejo das vias aéreas, desenvolvido em Unity e posteriormente validado em um estudo internacional publicado no British Journal of Anaesthesia, com centenas de profissionais clínicos em 18 países.

Resultado: A simulação em XR demonstrou ser clinicamente realista, repetível e escalável para a prática clínica em situações de alto risco.

Etapa 2 - Agente médico de IA

Introdução de um mentor de IA inteligente que fornece feedback e raciocínio em tempo real dentro do mesmo ambiente Unity .

Resultado: A simulação evoluiu para um aprendizado interativo e guiado, com instruções focadas no desempenho e feedback adaptativo.

Etapa 3 - Interface imersiva para inteligência

A XR torna-se a interface para a IA adaptativa, visualizando o conhecimento, respondendo às decisões do aluno e aprimorando-se por meio da telemetria. O rastreamento aprimorado das mãos e análises mais detalhadas por meio do iXR™ reforçam a personalização e o desenvolvimento de habilidades.

Olhando para o futuro: Expandindo a IA adaptativa e o aprendizado imersivo

A Lucid Reality Labs continua a desenvolver sua estrutura de simulação baseada em IA para dar suporte ao treinamento médico em nível empresarial e a procedimentos de alto risco que exigem precisão, adaptabilidade e desempenho mensurável. Com o Unity como mecanismo central em tempo real, onde a inteligência encontra a interatividade, a próxima fase se concentra em fortalecer a sinergia entre IA e XR, permitindo um treinamento que aprende, evolui e gera novos cenários sob demanda.

Os desenvolvimentos futuros incluem:

• Criação de cenários gerados por IA, com tecnologia da plataforma iXR™, permitindo módulos de treinamento sob demanda que se adaptam às necessidades do aluno e reduzem o esforço de desenvolvimento manual.
• Gerenciamento inteligente de conteúdo com o Unity Asset Manager , garantindo atualizações centralizadas, rastreabilidade e implementação perfeita em todas as organizações e dispositivos.
• Acessibilidade universal , proporcionando treinamento adaptativo consistente em headsets de XR , computadores e tablets, ampliando o alcance a todos os alunos, independentemente do hardware.
• Ciclos de otimização contínua , onde a análise de dados retroalimenta o sistema com informações sobre melhorias e habilidades, a fim de refinar a tomada de decisões e acelerar as curvas de aprendizado.
• Conformidade de nível empresarial , com módulos validados por especialistas que mantêm o alinhamento com o GDPR, HIPAA, padrões baseados na ISO 27001 e as melhores práticas clínicas em constante evolução.

Ao combinar o ecossistema em tempo real da Unity com a IA adaptativa e a plataforma iXR™ da Lucid Reality Labs, esta solução continua a evoluir para um sistema de treinamento escalável e de autoaperfeiçoamento, projetado para elevar a prontidão clínica, aumentar a segurança do paciente e moldar o futuro da educação na área da saúde.