L'IA adaptative rencontre XR : Comment Lucid Reality Labs et Unity redéfinissent la formation médicale pratique

Donner les moyens d'une éducation habilitée par la technologie qui améliore les résultats des patients : Une étude de cas Unity

Combiner le mentorat IA adaptatif et la simulation immersive pour aider à pratiquer des procédures à haut risque.

Lucid Reality Labs est un leader des solutions d'entreprise en réalité étendue (XR) et en IA, et un partenaire Unity de longue date, spécialisé dans les Digital Twins, la formation et la simulation immersives, l'amélioration des performances, l'activation de produits spatiaux et l'IA agentique.

L'entreprise, membre du programme de partenaire Unity, crée du contenu immersif haute fidélité qui améliore l'apprentissage, accélère les processus et facilite la prise de décision basée sur les données dans des secteurs à enjeux élevés tels que la robotique, les soins de santé, la fabrication et l'éducation. Sa mission est de réduire les risques, d'améliorer la compétence de la main-d'œuvre et d'optimiser les opérations complexes tout en fournissant aux clients une croissance quantifiable, une efficacité accrue et une précision améliorée - tout en ayant un impact significatif et centré sur l'humain.

Lucid Reality Labs travaille avec des organisations de premier plan pour relever des défis opérationnels réels grâce à des solutions XR intelligentes et immersives construites sur Unity. En utilisant une stratégie axée sur le business, l'entreprise relie les flux de travail et les KPI de chaque client aux capacités de Unity, produisant des applications évolutives et indépendantes de la plateforme qui permettent aux équipes de s'entraîner, d'apprendre et de travailler n'importe où.

Preuve en pratique : Impact en un coup d'œil

Combiner la précision d'un environnement immersif avec un guidage IA adaptatif prépare mieux les anesthésistes aux défis du monde réel. Cette approche a démontré des avantages mesurables dans le renforcement de la confiance clinique et de la préparation procédurale.

Les résultats clés de la solution Lucid Reality Labs comprennent :

• 437 participants issus de 18 pays ont complété 491 scénarios d'intubation.
• 71% des cliniciens ont jugé le simulateur utile pour l'enseignement, et 65% ont exprimé leur intérêt à l'adopter pour laformation continue.
• Les participants ont signalé une compréhension procédurale améliorée, une mémoire musculaire plus forte et une performance plus rapide lors des sessions suivantes.
• Le feedback adaptatif en temps réel a permis une correction d'erreurs plus rapide et des courbes d'apprentissage plus courtes, améliorant la rétention des compétences.
• Le cadre évolutif et reproductible du système garantit des expériences d'entraînement cohérentes et de haute qualité dans les institutions et les régions.

Leur solution de simulation d'intubation XR avec agent médical IA intégré, développée pour Medtronic et alimentée par Unity, a été reconnue par les Auggie Awards, les Webby Awards et les Telly Awards pour son innovation en IA et en technologie immersive. Ce succès renforce la valeur de l'éducation immersive et soutenue par l'IA dans le développement des compétences médicales et l'amélioration des résultats pour les patients.

Une étude internationale publiée dans le British Journal of Anaesthesia a validé l'impact de cette formation immersive assistée par IA, montrant des améliorations significatives de la compréhension procédurale, de la mémoire musculaire et de la performance globale.

En reconnaissance supplémentaire de son impact, cette solution a été récemment présentée par Samsung comme une solution de santé transformative lors de l'événement de lancement Galaxy XR en octobre 2025. Présenté en direct par Prof. Dr. Patrick Schoettker, c'est un argument convaincant de la manière dont la plateforme en temps réel de Unity permet la formation XR à l'échelle de l'entreprise sur la prochaine génération de dispositifs Android XR.

Le besoin urgent de formation médicale évolutive et axée sur les données

Le monde fera face à une pénurie de 10 millions de professionnels de la santé d'ici 2030. Les technologies d'IA et de XR peuvent aider à combler ce fossé en réduisant les disparités de formation, en élargissant l'accès aux conseils d'experts, en améliorant la sécurité des patients et en augmentant le développement des compétences cliniques.

La formation en anesthésiologie exige précision, adaptabilité et exécution impeccable. Cependant, les modèles traditionnels font face à des obstacles persistants tels que l'accès limité à des instructeurs experts, la dépendance aux laboratoires de simulation physiques et la difficulté d'exposer les apprenants à des scénarios de patients complexes ou rares. Ces limitations entravent l'évolutivité, réduisent la cohérence et affectent la préparation aux applications réelles.

La recherche montre que même les cliniciens expérimentés ont besoin d'une pratique continue et pratique pour maintenir leur confiance et affiner leur prise de décision face à des profils de patients et des configurations d'équipement variés. Ceci montre le besoin d'un système d'entraînement flexible et piloté par les données qui permet des simulations évolutives et de haute fidélité et peut fournir un retour personnalisé dans un environnement sûr et contrôlé.

Transformer la formation à l'intubation avec l'IA adaptative et la réalité étendue

Formation immersive d'intubation optimisée par l'IA, développée par Lucid Reality Labs pour Medtronic et alimentée par Unity, a été conçue en collaboration avec Lausanne University Hospital (CHUV) et Prof. Dr. Patrick Schoettker, Chef de l'anesthésiologie. Cette formation médicale redéfinit l'éducation dirigée par des experts grâce au mentorat IA adaptatif et à la simulation XR immersive.

L'expérience recrée une salle d'opération de haute fidélité du futur qui permet aux cliniciens de pratiquer en toute sécurité des procédures d'intubation complexes sous la direction d'un jumeau numérique alimenté par une IA du Dr. Schoettker. Le mentor IA fournit des commentaires en temps réel, une justification clinique et des conseils étape par étape alignés sur les protocoles médicaux.

Les apprenants progressent à travers divers profils de patients et niveaux de difficulté. Le système mesure la précision, le chronométrage et la prise de décision, fournissant des commentaires et des suggestions pour le développement des compétences individuelles.

Conçu comme un environnement d'apprentissage pratique et sans risque, il permet aux cliniciens de se former à tout moment et n'importe où – dans les hôpitaux, les universités ou des sites d'apprentissage à distance – tout en assurant des mises à jour continues pour refléter les normes médicales et les connaissances expertes pertinentes.

Le système de formation utilise le Framework XR de Unity et l'Interaction Toolkit pour la cohérence multiplateforme, la modularité et la simulation en temps réel de haute fidélité. S'appuyant sur cette base, la plateforme propriétaire iXR™ de Lucid Reality Labs fonctionne en synergie avec Unity, intégrantla collaboration multi-rôles, les Analytics et la gestion sécurisée du contenu au sein d'un écosystème unifié qui combine la précision clinique avec l'évolutivité de l'entreprise.

Made with Unity: Approche technique et construction

Unity est au cœur de la simulation, enrichie par le Framework XR de Unity, XR Interaction Toolkit, et la plateforme propriétaire iXR™ de Lucid Reality Labs. Cette combinaison crée une base flexible pour la conception modulaire, la simulation multi-rôles, les Analytics robustes et la diffusion de contenu transparente. La plateforme iXR™ introduit des informations basées sur les données, des scénarios d'apprentissage adaptatifs et un suivi précis des performances, essentiels pour la simulation de qualité médicale, étendant les capacités de Unity.

• DevOps construit pour l'échelle et la cohérence : Un pipeline d'intégration continue / de déploiement continu (CI/CD) sécurisé a constitué l'épine dorsale de l'évolutivité et de la fiabilité. Les équipes de développement et d'assurance qualité ont travaillé au sein d'un environnement DevOps unifié comprenant des tests automatisés, un Version Control et un Deployment rationalisé. Chaque version a été validée sur les appareils XR pris en charge avec un temps d'arrêt minimal, permettant une itération rapide, réduisant l'intervention manuelle et assurant des mises à jour stables et contrôlées par version pour la formation clinique à enjeux élevés.
• Architecture agnostique au dispositif Développée dans Unity en utilisant le plugin OpenXR, la simulation est agnostique au matériel par conception. Que ce soit en fonctionnement avec le suivi des mains, des casques basés sur des contrôleurs ou des dispositifs de suivi oculaire, l'expérience reste cohérente et intuitive, permettant un Deployment dans les hôpitaux, les universités et les centres de formation du monde entier, quel que soit le matériel de réalité étendue (XR).
• Performance, fiabilité et réalisme : Pour répondre aux exigences de précision de la formation clinique, l'équipe a mis en œuvre le rendu adaptatif, l'optimisation de la latence et l'analyse de performance approfondie. Le résultat est fluide, des fréquences d'images de qualité clinique avec une interaction instrumentale réactive, soutenue par la télémétrie de la plateforme iXR™ pour un affinement continu et des boucles de rétroaction en temps réel.

Pourquoi choisir Unity ?

Lucid Reality Labs a sélectionné Unity pour ses performances en temps réel éprouvées, sa scalabilité multiplateforme et l'écosystème de développement XR le plus complet de l'industrie.

La technologie Unity de base qui alimente la solution comprend :

• Gestion XR Unity avec OpenXR Plugin - Fournit des performances cohérentes sur différents appareils grâce à une interface unifiée pour le déploiement multi-matériel.
• XR Interaction Toolkit - Fournit une interaction intuitive et physiquement précise avec les instruments et les patients, essentielle pour le réalisme procédural.
• Universal Render Pipeline (URP) - Équilibre un rendu visuel haute fidélité avec des performances optimisées pour les casques autonomes.
• Mode par lots Unity pour CI/CD - Automatise les pipelines de test et de construction, améliorant la vitesse de livraison et la stabilité de l'application.
• Outils de profilage des performances - Permettre une optimisation approfondie, garantissant des fréquences d'images de qualité clinique et une fiabilité soutenue.

Processus de la conception au déploiement Du prototype à la formation XR de qualité clinique

1. Conception centrée sur le clinicien Construite pour les cliniciens et avec des cliniciens, la simulation a été façonnée autour des flux de travail médicaux et des besoins de formation authentiques. Chaque étape de conception était axée sur le réalisme, reflétant le flux procédural, les normes de sécurité et les points de décision clinique pour aligner les métriques de succès sur les résultats réels de la salle d'opération.

2. Prototyper et tester : Des prototypes précoces d'Unity ont été créés pour valider les modèles d'interaction, la logique du mentor IA et le flux UX. Les tests itératifs avec des anesthésistes et des éducateurs cliniques ont fourni un retour d'information continu, affinant le réalisme, l'utilisabilité et l'exactitude pédagogique pour répondre aux attentes éducatives et opérationnelles.

3. Intégration de contenu et d'Analytics : Des scénarios procéduraux, des instruments et des indicateurs de performance ont été développés en parallèle avec les objectifs d'apprentissage. Les pipelines d'Analytics ont été intégrés tôt à l'aide de iXR™, permettant une capture de données en temps réel, un suivi des progrès mesurables et une amélioration continue tout au long des sessions de formation.

4. Optimiser et piloter L'expérience a été optimisée en termes de performance sur les appareils XR et testée en conditions de stress avec des experts du domaine pour valider l'exactitude, la stabilité et l'authenticité clinique. Les informations télémétriques issues des sessions pilotes ont permis d'affiner les derniers détails, assurant la cohérence, la fiabilité et la préparation au Deployment en entreprise.

Principales capacités de la simulation de soins de santé XR

L'expérience combine un réalisme immersif, un mentorat IA adaptatif et une télémétrie de qualité clinique pour faire évoluer la formation experte de manière sûre et cohérente.

• Simulation de salle d'opération hyperréaliste: Reproduit le rythme clinique, la configuration et la pression procédurale réels avec un ajustement dynamique de la difficulté pour renforcer la confiance et réduire la charge cognitive.
• Mentor IA (Jumeau Numérique): Un jumeau numérique intelligent d'un anesthésiste de premier plan fournit des conseils en temps réel, un raisonnement clinique et un retour adaptatif alignés sur des protocoles médicaux validés.
• Conception validée par des cliniciens: Développé avec des spécialistes en anesthésiologie pour refléter les équipements réels, les flux de travail et les normes de sécurité pour un transfert de compétences direct dans le monde réel.
• Analyse de performance et évaluation objective: Mesure le temps, la précision de la séquence, la manipulation des instruments et la prise de décision pour les débriefings structurés et le développement continu des compétences.
• Intégrité des données et gouvernance sécurisée: La plateforme iXR™ gère le contenu, les rôles des utilisateurs et les Analytics avec une traçabilité complète, un Version Control et une gestion des données conforme.
• Résultats fondés sur des preuves: Chaque session enregistre les interactions et les résultats, permettant une vision mesurable de la progression des compétences, de la qualité de la formation et de la rétention des connaissances.

Passer de la simulation à l'entraînement d'IA adaptative

Du prototype à la norme mondiale de formation, le projet a progressé à travers trois phases d'innovation majeures, chacune élargissant l'impact de l'éducation médicale basée sur Unity :

Étape 1 - Fondation VR

Un module de formation immersif construit avec Unity pour la gestion des voies respiratoires, validé ultérieurement dans une étude internationale du British Journal of Anaesthesia avec des centaines de cliniciens dans 18 pays.

Résultat: La simulation XR s'est avérée cliniquement réaliste, reproductible et évolutive pour la pratique à enjeux élevés.

Étape 2 - Agent médical IA

Introduction d'un mentor IA intelligent fournissant des commentaires et des raisonnements en temps réel dans le même environnement Unity.

Résultat: La simulation a évolué vers un apprentissage interactif et guidé avec une instruction sensible à la performance et un retour adaptatif.

Étape 3 - Interface immersive pour l'intelligence

XR devient l'interface pour l'IA adaptative, visualisant les connaissances, répondant aux décisions de l'apprenant et s'améliorant grâce à la télémétrie. Le suivi des mains amélioré et les Analytics plus approfondies grâce à iXR™ renforcent la personnalisation et le développement des compétences.

Pour l'avenir : Développer l'IA adaptative et l'apprentissage immersif

Lucid Reality Labs continue d'améliorer son cadre de simulation piloté par l'IA pour prendre en charge la formation médicale au niveau de l'entreprise et les procédures à haut risque qui exigent précision, adaptabilité et performance mesurable. Avec Unity comme moteur temps réel central où l'intelligence rencontre l'interactivité, la prochaine phase se concentre sur le renforcement de la synergie entre l'IA et la XR, permettant un entraînement qui apprend, évolue et génère de nouveaux scénarios à la demande.

Les développements futurs comprennent :

• Création de scénarios par IA alimentée par la plateforme iXR™, permettant des modules de formation à la demande qui s'adaptent aux besoins des apprenants et réduisent l'effort de développement manuel.
• Gestion de contenu intelligente avec Unity Asset Manager, assurant des mises à jour centralisées, une traçabilité et un déploiement transparent à travers les organisations et les appareils.
• Accessibilité universelle, offrant une formation adaptative cohérente sur les casques XR, les ordinateurs de bureau et les tablettes, étendant la portée à chaque apprenant quel que soit le matériel.
• Boucles d'optimisation continues, où les Analytics alimentent les améliorations et les aperçus de compétences dans le système pour affiner la prise de décision et accélérer les courbes d'apprentissage.
• Conformité de niveau entreprise, avec des modules validés par des experts maintenant l'alignement avec le RGPD, l'HIPAA, les normes basées sur l'ISO 27001 et les meilleures pratiques cliniques en évolution.

En combinant l'écosystème en temps réel de Unity avec l'IA adaptative et la plateforme iXR™ de Lucid Reality Labs, cette solution continue d'évoluer vers un système de formation auto-améliorant et évolutif, conçu pour élever la préparation clinique, améliorer la sécurité des patients et façonner l'avenir de l'éducation sanitaire.