L'IA adaptative rencontre XR : Comment Lucid Reality Labs et Unity redéfinissent la formation médicale pratique

Favoriser une éducation axée sur la technologie qui améliore les résultats des patients : Étude de cas Unity

En combinant le mentorat en IA adaptative et la simulation immersive, vous pourrez mettre en pratique des procédures à haut risque.

Lucid Reality Labs est un leader dans les solutions d'entreprise en réalité étendue (XR) et en IA, et un partenaire de longue date Unity spécialisé dans Digital Twins, la formation et la simulation immersives, l'amélioration des performances, l'activation de produits spatiaux et l'IA agentique.

L'entreprise, qui fait partie du programme Unity Partner, crée du contenu immersif haute fidélité qui améliore l'apprentissage, accélère les processus et facilite la prise de décision basée sur les données dans des secteurs à fort enjeu comme la robotique, la santé, la production industrielle et l'éducation. Sa mission est de réduire les risques, d'accroître les compétences de la main-d'œuvre et d'optimiser les opérations complexes tout en offrant aux clients une croissance quantifiable, une efficacité accrue et une précision améliorée, le tout tout tout en ayant un impact significatif centré sur l'humain.

Lucid Reality Labs collabore avec des entreprises de premier plan pour relever de véritables défis opérationnels grâce à des solutions XR intelligentes et immersives basées sur Unity. En adoptant une stratégie axée sur les affaires, l'entreprise relie les flux de production et les indicateurs clés de performance de chaque client aux capacités de Unity, en produisant des applications évolutives, adaptées aux plateformes, qui permettent aux équipes de s'entraîner, d'apprendre et de travailler n'importe où.

Preuve en pratique : Coup d'œil sur l'impact

Combiner la précision d'un environnement immersif avec un guidage adaptatif de l'IA prépare mieux les anesthésistes aux défis du monde réel. Cette approche a démontré des avantages mesurables pour renforcer la confiance clinique et la préparation procédurale.

Les principaux résultats de la solution Lucid Reality Labs sont les suivants :

• 437 participants de 18 pays ont réalisé 491 scénarios d'intubation.
• 71 % des cliniciens ont jugé le simulateur utile pour enseigner et 65 % ont exprimé leur intérêt à l'adopter pour la formation continue.
• Les participants ont fait état d'une meilleure compréhension des procédures, d'une mémoire musculaire plus forte et d'un rendement plus rapide au cours des séances suivantes.
• Les retours adaptatifs en temps réel ont permis une correction plus rapide des erreurs et des courbes d'apprentissage plus courtes, améliorant ainsi la rétention des compétences.
• Le cadre adaptable et réutilisable du système garantit des expériences de formation cohérentes et de haute qualité entre les institutions et les régions.

Leur solution de simulation d'intubation XR avec agent médical d'IA intégré développée pour Medtronic et alimentée par Unity, a été récompensée par les Auggie Awards, les Webby Awards et les Telly Awards pour son innovation en matière d'IA et de technologie immersive. Ce succès renforce la valeur de l'éducation immersive, soutenue par l'IA, pour faire progresser le développement des compétences médicales et améliorer les résultats des patients.

Une étude internationale publiée dans le British Journal of Anesthesia a validé l'impact de cette formation immersive et soutenue par l'IA, montrant des améliorations significatives dans la compréhension procédurale, la mémoire musculaire et les performances globales.

Afin de reconnaître son impact, Samsung a récemment présenté cette solution comme une solution de santé transformatrice lors de l'événement de lancement du Galaxy XR en octobre 2025. Présenté en direct par Prof. Dr. Patrick Schoettker, c'est une preuve convaincante de la façon dont la plateforme en temps réel de Unity permet la formation XR à l'échelle de l'entreprise sur la prochaine génération d'appareils Android XR.

Le besoin urgent d'une formation médicale évolutive et basée sur les données

D'ici 2030, le monde sera confronté à une pénurie de 10 millions de travailleurs de la santé. Les technologies IA et XR peuvent aider à combler ce fossé en réduisant les disparités en matière de formation, en élargissant l'accès aux conseils d'experts, en améliorant la sécurité des patients et en développant les compétences cliniques.

La formation en anesthésiologie exige précision, adaptabilité et exécution parfaite. Pourtant, les modèles traditionnels se heurtent à des obstacles persistants : accès limité à des formateurs experts, recours à des laboratoires de simulation physique et difficulté à exposer les apprenants à des scénarios de patients complexes ou rares. Ces limitations entravent l'évolutivité, réduisent la cohérence et ont un impact sur la préparation pour les applications du monde réel.

Les recherches montrent que même les cliniciens expérimentés ont besoin d'une pratique pratique continue et pratique pour garder confiance en eux et affiner la prise de décision pour divers profils de patients et configurations d'équipement. Cela montre le besoin d'un système de formation flexible, basé sur les données, qui permet des simulations évolutives et haute fidélité et peut fournir un retour personnalisé dans un environnement sûr et contrôlé.

Transformer la formation d'intubation grâce à l'IA adaptative et à la réalité étendue

La formation d'intubation immersive basée sur l'IA, conçue par Lucid Reality Labs pour Medtronic et alimentée par Unity, a été développée en collaboration avec le Centre hospitalier universitaire de Lausanne (CHUV) et le professeur Dr. Patrick Schoettker, chef du service d'anesthésiologie. Cette formation médicale redéfinit l'enseignement dirigé par un expert grâce au mentorat adaptatif en IA et à la simulation XR immersive.

L'expérience recrée une salle d'opération haute fidélité du futur quipermet aux cliniciens de pratiquer en toute sécurité des procédures d'intubation complexes sous la conduite d'un jumeau numérique alimenté par l'IA de Dr. Schoettker. Le mentor en IA fournit des commentaires en temps réel, une justification clinique et des conseils étape par étape alignés sur les protocoles médicaux.

Les apprenants progressent à travers divers profils de patients et niveaux de difficulté. Le système mesure la précision, le calendrier et la prise de décision, en fournissant des commentaires et des suggestions pour le développement des compétences individuelles.

Conçu comme un environnement d'apprentissage pratique sans risque, il permet aux cliniciens de se former à tout moment et en tout lieu, dans des hôpitaux, des universités ou des sites d'apprentissage à distance, tout en garantissant des mises à jour continues pour refléter les normes médicales et les connaissances d'experts pertinentes.

Le système de formation utilise XR Framework de Unity et Interaction Toolkit pour la cohérence multiplateforme, la modularité et la simulation en temps réel haute fidélité. Sur cette base, la plateforme propriétaire iXRTM de Lucid Reality Labs fonctionne en synergie avec Unity, en intégrant la collaboration multi-rôles, Analytics et la gestion sécurisée du contenu au sein d'un écosystème unifié qui associe précision clinique et évolutivité de l'entreprise.

Made with Unity : Approche technique et compilation

Unity est au cœur de la simulation, amélioré par Unity XR Framework, XR Interaction Toolkit et la plateforme exclusive iXRTM de Lucid Reality Labs. Cette combinaison crée une base flexible pour la conception modulaire, la simulation multi-rôles, Analytics robuste et une diffusion de contenu fluide. La plateforme iXRTM introduit des informations basées sur les données, des scénarios d'apprentissage adaptatifs et un suivi précis des performances indispensables pour la simulation de qualité médicale, étendant ainsi les capacités de Unity.

• DevOps conçu pour l'échelle et la cohérence : Un pipeline d'intégration (CI/CD) sécurisé constituait la colonne vertébrale de l'évolutivité et de la fiabilité. Les équipes de développement et d'assurance qualité ont travaillé dans un environnement DevOps unifié avec tests automatisés, Version Control et déploiement rationalisé. Chaque compilation a été validée sur les appareils XR pris en charge avec un minimum de temps d'arrêt, ce qui a permis une itération rapide, réduit les interventions manuelles et garanti des mises à jour stables et contrôlées des versions pour la formation clinique à enjeux élevés.
• Architecture indépendante des appareils : Développée dans Unity grâce au plugin OpenXR, la simulation dépend du matériel utilisé. Qu'elle soit exécutée sur des appareils de suivi manuel, des casques basés sur un contrôleur ou des appareils de suivi oculaire, l'expérience reste cohérente et intuitive - ce qui permet un déploiement dans les hôpitaux, les universités et les centres de formation du monde entier, quel que soit le matériel XR.
• Performances, fiabilité et réalisme : Pour répondre aux exigences de précision de la formation clinique, l'équipe a mis en place un rendu adaptatif, une optimisation de la latence et un profilage approfondi des performances. Le résultat est une fréquence d'image fluide de niveau clinique avec une interaction réactive des instruments, soutenue par la télémétrie de la plateforme iXRTM pour un raffinement continu et des boucles de rétroaction en temps réel.

Pourquoi choisir Unity ?

Lucid Reality Labs a sélectionné Unity pour ses performances en temps réel éprouvées, son adaptabilité multiplateforme et l'écosystème de développement XR le plus complet du secteur.

La technologie principale Unity alimentant la solution comprend :

• Gestion Unity XR avec OpenXR Plugin - Fournit des performances cohérentes sur tous les appareils grâce à une interface unifiée pour un déploiement multi-matériel.
• XR Interaction Toolkit - Fournit une interaction intuitive et précise de la physique avec les instruments et les patients, essentielle pour le réalisme procédural.
• Universal Render Pipeline (URP) - Équilibre la sortie visuelle haute fidélité avec des performances optimisées pour les casques autonomes.
• Unity Batch Mode for CI/CD - Automatise les tests et les pipelines de compilation, ce qui améliore la vitesse de livraison et la stabilité des applications.
• Outils de profilage des performances : permettez une optimisation approfondie, garantissant des fréquences d'image de qualité clinique et une fiabilité durable.

Processus de conception à déploiement : Du prototype à la formation en XR de niveau clinique

1. Conception centrée sur le clinicien : Conçue pour les cliniciens, la simulation a été élaborée en fonction de flux de production médicaux authentiques et des besoins de formation. Chaque étape de conception se concentrait sur le réalisme, en reflétant le flux procédural, les normes de sécurité et les points de décision cliniques pour aligner les indicateurs de réussite sur les résultats réels du bloc opératoire.

2. Prototype et test : Les premiers prototypes Unity furent créés pour valider les modèles d'interaction, la logique du mentor en IA et le flux d'expérience utilisateur. Les tests itératifs avec des anesthésistes et des formateurs cliniques ont fourni un feedback continu, affinant le réalisme, la facilité d'utilisation et la précision des instructions pour répondre aux attentes à la fois éducatives et opérationnelles.

3. Intégration Content & Analytics : Des scénarios procéduraux, des instruments et des indicateurs de rendement ont été élaborés parallèlement aux objectifs d'apprentissage. Les pipelines Analytics ont été intégrés très tôt à l'aide d'iXRTM, ce qui a permis la capture de données en temps réel, un suivi mesurable des progrès et une amélioration continue tout au long des sessions de formation.

4. Optimisez et pilotez : L ' expérience a été réglée sur les performances des appareils XR et testée sous contrainte auprès d ' experts pour valider la précision, la stabilité et l ' authenticité clinique. Les données télémétriques issues des sessions pilotes ont éclairé les améliorations finales, garantissant la cohérence, la fiabilité et la préparation au déploiement en entreprise.

Principales capacités de la simulation médicale XR

L'expérience combine un réalisme immersif, un mentorat en IA adaptative et une télémétrie de niveau clinique pour faire évoluer la formation des experts de manière sûre et cohérente.

• Simulation de salle d'opération ultra réelle : Reproduit le rythme clinique réel, la configuration et la pression procédurale avec un ajustement dynamique de la difficulté pour renforcer la confiance en soi et réduire la charge cognitive.
• Parrain en IA (jumeau numérique) : Un jumeau numérique intelligent d'un anesthésiste de premier plan fournit des conseils en temps réel, un raisonnement clinique et un retour adaptatif alignés sur les protocoles médicaux validés.
• Conception validée par le clinicien : Développé avec des spécialistes en anesthésiologie pour refléter l'équipement réel, les flux de production et les normes de sécurité pour un transfert direct de compétences dans le monde réel.
• Analyse des performances et évaluation des objectifs : Mesure le timing, la précision de la séquence, le maniement des instruments et la prise de décision pour des comptes rendus structurés et le développement continu des compétences.
• Intégrité des données et gouvernance sécurisée : La plateforme iXRTM gère le contenu, les rôles utilisateur et Analytics avec une traçabilité totale, Version Control et un traitement des données conforme.
• Résultats fondés sur des données probantes : Chaque session enregistre les interactions et les résultats, ce qui permet d'obtenir des informations mesurables sur la progression des compétences, la qualité de la formation et la rétention de l'apprentissage.

Passez de la simulation à la formation en IA adaptative

Du prototype à la norme mondiale de formation, le projet a progressé au cours de trois grandes phases d'innovation, chacune élargissant l'impact de l'enseignement médical alimenté par Unity :

Stage 1 - VR Foundation

Un module de formation immersif conçu par Unity pour la gestion des voies respiratoires, validé ultérieurement dans une étude internationale du British Journal of Anesthesia avec des centaines de cliniciens dans 18 pays.

Résultat : La simulation XR s'est avérée cliniquement réaliste, réutilisable et adaptable pour la pratique des enjeux importants.

Etape 2 - Agent médical IA

Introduction d'un mentor intelligent en IA fournissant un feedback et un raisonnement en temps réel dans le même environnement Unity.

Résultat : La simulation est devenue un apprentissage interactif et guidé avec des instructions axées sur les performances et un retour adaptatif.

Stage 3 - Interface immersive pour la veille

La XR devient l'interface pour l'IA adaptative, la visualisation des connaissances, la réponse aux décisions des apprenants et l'amélioration grâce à la télémétrie. L'amélioration du suivi manuel et des Analytics approfondies grâce à iXRTM renforcent la personnalisation et le développement des compétences.

Pour l'avenir : Développer l'IA adaptative et l'apprentissage immersif

Lucid Reality Labs continue de faire progresser son cadre de simulation basé sur l'IA afin de soutenir la formation médicale au niveau de l'entreprise et les procédures à enjeux élevés qui exigent précision, adaptabilité et performances mesurables. Avec Unity comme moteur principal en temps réel où l'intelligence rencontre l'interactivité, la phase suivante se concentre sur le renforcement de la synergie entre IA et XR, permettant ainsi une formation qui apprend, évolue et génère de nouveaux scénarios à la demande.

Les développements futurs comprennent :

• Création de scénarios basée sur la plateforme iXRTM, permettant des modules de formation à la demande qui s'adaptent aux besoins des apprenants et réduisent les efforts de développement manuel.
• Gestion intelligente du contenu avec Unity Asset Manager, garantissant des mises à jour centralisées, une traçabilité et un déploiement fluide sur toutes les organisations et tous les appareils.
• Accessibilité universelle, offrant une formation adaptative cohérente sur les casques XR, les ordinateurs de bureau et les tablettes, pour étendre la portée à chaque apprenant, quel que soit son matériel.
• Des boucles d'optimisation continues, où Analytics renvoie les améliorations et les connaissances sur les compétences dans le système pour affiner la prise de décision et accélérer les courbes d'apprentissage.
• Conformité de niveau entreprise, avec des modules validés par des experts et en adéquation avec le GDPR, HIPAA, les normes ISO 27001 et les meilleures pratiques cliniques en constante évolution.

En associant l'écosystème en temps réel de Unity à l'IA adaptative et à la plateforme iXRTM de Lucid Reality Labs, cette solution continue d'évoluer vers un système de formation auto-améliorable et évolutif, conçu pour améliorer la préparation clinique, améliorer la sécurité des patients et façonner l'avenir de l'enseignement de la santé.