自适应AI与XR相遇:Lucid Reality Labs和Unity如何重新定义实践医学培训

Dec 12, 2025|6 最低
戴着VR眼镜的外科医生

为方便起见,此网页已进行机器翻译。我们无法保证翻译内容的准确性或可靠性。如果您对翻译内容的准确性有疑问,请参阅此网页的官方英文版本。

概述

Lucid Reality Labs 如何通过无风险的沉浸式模拟和自适应 AI 指导,扩大专家主导的高保真医疗培训规模。

解决方案

在实时沉浸式环境下进行人工智能引导的插管训练。Unity产品:Unity引擎, Unity Asset Manager。

用例

多场景自适应XR训练和沉浸式学习、医疗 AI 代理、麻醉学和插管模拟。

顾客

Lucid Reality Labs(Unity Industry合作伙伴)。

公司概况。Video由 Lucid Reality Labs 提供。

利用科技赋能教育,改善患者治疗效果:Unity案例研究

结合自适应人工智能指导和沉浸式模拟,帮助练习高风险手术。

Lucid Reality Labs是扩展现实 (XR) 和 AIenterprise解决方案领域的领导者,也是Unity 的长期合作伙伴,专注于数字孪生、沉浸式训练和模拟、性能提升、空间产品激活和智能 AI。

该公司是Unity Partner 计划的一部分,致力于创建高保真沉浸式内容,以改善学习、加快流程,并促进机器人、医疗保健、制造业和教育等高风险行业的数据驱动决策。其使命是降低风险、提高员工技能、优化复杂运营,同时为客户带来可量化的增长、更高的效率和改进的成果——所有这一切都将产生以人为本的重大影响。

Lucid Reality Labs 与领先的组织合作,通过基于Unity构建的智能沉浸式XR解决方案来解决实际运营挑战。该公司采用以业务为先的战略,将每个客户的工作流程和 KPI 与 Unity 的功能连接起来,从而生产出可扩展的、与平台无关的应用程序,启用团队能够在任何地方进行练习、学习和工作。

实践证明:影响概览

将沉浸式环境的精准性与自适应人工智能指导相结合,能更好地帮助麻醉师应对现实世界的挑战。这种方法已证明在增强临床信心和手术准备方面具有可衡量的好处。

Lucid Reality Labs解决方案的关键点成果包括:

  • 来自 18 个国家的437 名参与者completed了491 个插管场景。
  • 71% 的临床医生认为该simulator对教学很有用, 65% 的临床医生表示有兴趣将其用于持续培训。
  • 参与者表示,他们在随后的训练中,对操作流程的理解有所提高,肌肉记忆力增强,性能速度加快。
  • 实时自适应反馈能够更快地纠正报错,缩短学习曲线,从而提高技能留存。
  • 该系统的可扩展、可重复框架确保了不同机构和地区之间一致、高质量的培训体验。

他们为美敦力开发的集成人工智能医疗代理的XR插管模拟解决方案,由Unity提供支持,因其在人工智能和沉浸式技术领域的创新而获得了Auggie 奖、 Webby 奖和Telly 奖的认可。这一成功进一步凸显了沉浸式人工智能辅助教育在提升医疗技能和改善患者预后方面的价值。

发表在《英国麻醉学杂志》上的一项国际研究证实了这种沉浸式人工智能支持的训练的影响,结果显示,在程序理解、肌肉记忆和整体性能均有显著改善。

为了进一步认可其影响,三星在 2025 年 10 月的Galaxy XR事件上,将该解决方案作为一项变革性的医疗保健解决方案进行了重点介绍。由教授博士现场演示Patrick Schoettker 认为,这有力地证明了 Unity 的实时平台如何能够跨下一代安卓 XR设备实现企业级XR培训。

三星事件公告。Video由 Lucid Reality Labs 提供。

迫切需要可扩展的、数据驱动的医学培训

到2030年,世界将面临1000万名医护人员的缺口。人工智能和XR技术可以通过缩小培训差距、扩大获得专家指导的访问、提高患者安全以及扩大临床技能发展规模来帮助弥合这一差距。

麻醉学培训要求精准、适应性强、执行完美。然而,传统模式面临着诸多障碍,例如专家指导员访问有限、依赖物理模拟实验室以及难以让学习者接触复杂或罕见的患者情况。这些限制阻碍了可扩展性,降低了一致性,并影响了实际应用的准备情况。

研究表明,即使是经验丰富的临床医生也需要不断的实践操作,才能保持信心,并在不同的患者情况和设备配置下不断改进决策。这表明我们需要一个灵活的、数据驱动的培训系统,该系统能够进行可扩展的高保真模拟,并在安全、可控的环境中提供个性化的反馈。

利用自适应人工智能和扩展现实技术革新插管培训


手术室内的虚拟外科医生

在虚拟手术室(OR)中进行临床训练的医疗人工智能代理。图像由 Lucid Reality Labs 提供。

由 Lucid Reality Labs 为 Medtronic 构建、 Unity提供支持的 AI 赋能沉浸式插管训练,是与洛桑大学医院 (CHUV)和 Prof. Dr. 合作开发的。帕特里克·舍特克,头部。这种医学培训通过自适应人工智能指导和沉浸式XR模拟,重新定义了专家主导的教育。

该体验重现了未来高保真度的手术室。这使得临床医生能够在人工智能驱动的数字孪生医生的指导下安全地进行复杂的插管操作。舍特克。AI导师提供实时反馈、临床原理和符合医疗规程的逐步指导。

学习者将逐步了解各种不同的患者案例和难度级别。该系统测量精确度、时机把握和决策能力,并为个人技能发展提供反馈和建议。

该平台旨在打造一个无风险的实践学习环境,让临床医生可以随时随地进行培训——无论是在医院、大学还是远程学习场所,同时确保持续更新以反映医疗标准和相关专家知识。

该训练系统采用Unity 的XR框架和交互工具包,以实现跨平台一致性、模块化和高保真实时模拟。在此基础上,Lucid Reality Labs 的专有 iXR™平台与Unity协同工作,实现构建。在统一的生态系统中实现多角色协作、分析和安全的内容管理,将临床精准性与enterprise可扩展性相结合。

手术室内的虚拟外科医生

用于临床培训的虚拟手术室。图像由 Lucid Reality Labs 提供。

Made with Unity:技术方法和编译版本

Unity是模拟的核心,并由Unity XR框架、 XR Interaction Toolkit和 Lucid Reality Labs 的专有iXR™平台增强。这种组合为模块化设计、多角色模拟、耐用、抗变换、鲁棒性的分析和无缝内容交付奠定了灵活的基础。iXR™平台引入了数据驱动的洞察、自适应学习场景和精确的性能跟踪,这对于医疗级模拟至关重要,从而扩展了 Unity 的功能。

  • DevOps旨在实现缩放和一致性:安全的持续集成/持续部署( CI/CD)管线构成了可扩展性和可靠性的支柱。开发和质量保证团队在一个统一的DevOps环境中工作,该环境具有自动化测试、版本控制和简化部署等特点。每个编译版本都在支持的XR设备上进行了验证,停机时间最短,从而实现了快速迭代,减少了人工干预,并确保了高风险临床培训的稳定、版本控制的更新。
  • 与设备无关的架构:该模拟程序使用Unity和OpenXR Plugin开发,其设计与硬件无关。无论是在手部追踪、基于控制器的头戴式设备还是眼动追踪设备上running,体验都保持一致性和直观性——这使得无论使用何种XR硬件,都可以在全球各地的医院、大学和培训中心进行部署。
  • 性能、可靠性和真实性:为了满足临床训练的精确性要求,该团队实施了自适应渲染、延迟优化和深度性能分析。其result是实现了流畅的临床级帧速率和灵敏的仪器交互,并借助 iXR™平台的遥测技术进行持续改进和实时反馈循环。
数字孪生手术室

Unity构建的数字孪生手术室流程。图像由 Lucid Reality Labs 提供。

为什么选择 Unity?

Lucid Reality Labs 选择Unity是因为其久经考验的实时性能、跨平台可扩展性以及业界最全面的XR开发生态系统。

该解决方案的核心Unity技术包括:

  • Unity XR管理与OpenXR Plugin- 通过统一的接口实现多硬件部署的跨设备性能一致性。
  • XR Interaction Toolkit- 提供与仪器和患者之间直观、符合物理规律的交互,这对于实现手术真实性至关重要。
  • 通用渲染管线 (URP) - 兼顾高保真视觉输出和针对独立头显的优化性能。
  • Unity批量模式用于 CI/CD - 自动化测试和编译版本管道,提高交付速度和应用程序稳定性。
  • 性能分析工具- 实现深度优化,确保临床级帧速率和持续可靠性。

“Unity的成功得益于其对众多插件和SDK的广泛支持:OpenXR 使我们能够从一套代码库中针对多个头戴式设备,URP 满足了我们在独立VR上的性能目标,而批处理模式 CI/CD 则实现了构建和测试的自动化。”

Stas Horodnianskyi
Stas Horodnianskyi - Lucid Reality Labs
Senior Unity Developer and Technology Lead
数字孪生手术室

在Unity中构建的高保真数字孪生手术室 (OR) 用于沉浸式医疗培训和临床模拟。图像由 Lucid Reality Labs 提供。

从设计到部署的过程:从(用作动词)构建原型到临床级XR培训

1.以临床医生为中心的设计:该模拟系统由临床医生设计,并由临床医生参与构建,其设计围绕真实的医疗工作流程和培训需求展开。每个设计阶段都注重真实性,反映手术流程、安全标准和临床决策点,以使成功指标与真实的手术室结果保持一致。

2.原型制作与测试:早期Unity原型是为了验证交互模型、AI 导师逻辑和UX流程而创建的。通过与麻醉师和临床教育工作者的反复测试,不断获得反馈,从而改进真实性、可用性和教学准确性,以满足教育和运营方面的期望。

3.内容与分析集成:程序场景、工具和性能指标与学习目标同步制定。利用 iXR™ 早期嵌入了Analytics管道,实现了实时数据采集、可衡量的进度跟踪以及在培训课程中的持续改进。

4.优化和试点:该体验在XR设备上进行了性能优化,并与主题专家进行了压力测试,以验证其准确性、稳定性和临床真实性。试点会话的遥测数据为最终改进提供了依据,确保了一致性、可靠性和enterprise部署的准备情况。

数字孪生手术室

以临床为中心的虚拟手术室,旨在最大限度地提升XR医学培训的沉浸感。图像由 Lucid Reality Labs 提供。

XR医疗保健模拟的关键点功能

该体验结合了沉浸式真实感、自适应人工智能指导和临床级遥测技术,可以安全、一致地缩放。

  • 超逼真手术室模拟:通过动态调整难度,模拟真实的临床节奏、设置和操​​作压力,以编译版本信心并降低认知负荷。
  • AI导师(数字孪生) :一位顶尖麻醉师的智能数字孪生体提供实时指导、临床推理和符合已验证医疗方案的自适应反馈。
  • 经临床医生验证的设计:与麻醉学专家共同开发,以模拟真实设备、工作流程和安全标准,实现直接的现实世界技能转移。
  • 绩效分析和客观评估:衡量时间安排、顺序准确性、仪器操作和决策能力,以便进行结构化汇报和持续技能发展。
  • 数据完整性和安全治理:iXR™平台管理内容、用户角色和分析,并具有完整的可追溯性、版本控制和合规的数据处理能力。
  • 循证结果:每次训练都会记录互动和结果,从而可以对技能进步、训练质量和学习留存进行可衡量的深入了解。

人工智能代理演示。Video由 Lucid Reality Labs 提供。

从模拟到自适应人工智能训练的扩展

从(用作动词)构建原型到全球培训标准,该项目经历了三个主要的创新阶段,每个阶段都扩大了基于 Unity 的医学教育的影响:

第一阶段 - VR基础

一个使用 Unity 构建的沉浸式气道管理培训模块,后来在《英国麻醉学杂志》的一项国际研究中得到验证,该研究有来自 18 个国家的数百名临床医生参与。

结果:XR模拟在临床上被证明是逼真的、可重复的、可扩展的,适用于高风险的实践。

插管模拟演示。Video由 Lucid Reality Labs 提供。

第二阶段 - 人工智能医疗代理

引入智能 AI 导师,在Unity环境中提供实时反馈和推理。

结果:模拟学习发展成为交互式、引导式学习,并结合了绩效感知教学和自适应反馈。

第三阶段——智能沉浸式界面

XR成为自适应人工智能的界面,可视化知识,响应学习者的决策,并通过遥测技术进行改进。通过 iXR™ 增强手部追踪和更深入的分析,可以加强个性化和技能发展。

“Unity使我们能够将 AI 展示为一个栩栩如生的导师,从而激发人们的同理心和信任。凭借其实时渲染和动画工具,它可以模拟真实专家的操作,从而加深学习者的参与度。”

Alex Dzyuba
Alex Dzyuba - Lu
Founder and CEO
Youtube 视频

教授博士帕特里克·舍特克洛桑大学医院(CHUV)头部。Video由 Lucid Reality Labs 提供。

展望未来:扩展自适应人工智能和沉浸式学习

Lucid Reality Labs 不断推进其 AI 驱动的模拟框架,以支持企业级医疗培训和高风险手术,这些手术需要精确性、适应性和可衡量的性能。Unity作为智能与交互相结合的核心实时引擎,下一阶段的重点是加强 AI 和XR之间的协同作用,从而实现能够学习、进化并按需生成新场景的训练。

未来发展方向包括:

  • 由 iXR™平台支持的AI 生成场景创建,可实现按需培训模块,以适应学习者的需求并减少人工开发工作量。
  • 通过Unity Asset Manager实现Smart内容管理,确保集中更新、可追溯性以及跨组织和设备的无缝部署。
  • 通用访问性,可在XR头戴式显示器、台式机和平板电脑上提供一致的自适应训练,让每个学习者无论使用何种硬件都能获得培训。
  • 连续优化循环,其中分析结果将改进和技能见解反馈到系统中,以改进决策并加快学习曲线。
  • 企业级合规性,经专家验证的模块与GDPR、HIPAA、ISO 27001 标准以及不断发展的临床最佳实践保持一致。

通过将 Unity 的实时生态系统与 Lucid Reality Labs 的自适应 AI 和 iXR™平台相结合,该解决方案不断发展成为一个自我改进、可扩展的培训系统,旨在提高临床准备度、增强患者安全并塑造医疗保健教育的未来。