Адаптивный ИИ встречает XR: Как Lucid Reality Labs и Unity переопределяют практическое медицинское обучение

Внедрение технологий в образование для улучшения результатов лечения пациентов: Пример использования Unity

Сочетание адаптивного наставничества на основе ИИ и иммерсивного моделирования для отработки процедур высокого риска.

Lucid Reality Labs — лидер в области корпоративных решений в сфере расширенной реальности (XR) и искусственного интеллекта, а также давний партнер Unity , специализирующийся на цифровых двойниках, иммерсивном обучении и моделировании, повышении производительности, пространственной активации продуктов и агентном ИИ.

Компания, входящая в партнерскую программу Unity , создает высококачественный иммерсивный контент, который улучшает обучение, ускоряет процессы и способствует принятию решений на основе данных в таких важных секторах, как робототехника, здравоохранение, производство и образование. Ее миссия заключается в снижении рисков, повышении квалификации персонала и оптимизации сложных операций, обеспечивая при этом клиентам измеримый рост, повышение эффективности и точности — и все это с существенным, ориентированным на человека воздействием.

Компания Lucid Reality Labs сотрудничает с ведущими организациями для решения реальных операционных задач с помощью интеллектуальных, иммерсивных XR решений, созданных на Unity. Применяя стратегию, ориентированную на бизнес, компания связывает рабочие процессы и ключевые показатели эффективности каждого клиента с возможностями Unity, создавая масштабируемые, платформенно-независимые приложения, которые позволяют командам практиковаться, учиться и работать где угодно.

Доказательство на практике: Влияние с первого взгляда

Сочетание точности иммерсивной среды с адаптивным управлением на основе искусственного интеллекта позволяет лучше подготовить анестезиологов к реальным задачам. Этот подход продемонстрировал ощутимые преимущества в повышении клинической уверенности и готовности к проведению процедур.

Ключевые результаты применения решения Lucid Reality Labs включают:

• В исследовании приняли участие 437 человек из 18 стран, которые выполнили 491 сценарий интубации.
• 71% врачей оценили симулятор как полезный для обучения , а 65% выразили заинтересованность в его использовании для непрерывного обучения .
• Участники отметили улучшение понимания процедур, более сильную мышечную память и более быстрое выполнение заданий на последующих занятиях.
• Адаптивная обратная связь в режиме реального времени позволила быстрее исправлять ошибки и сократить время обучения, улучшив тем самым сохранение навыков.
• Масштабируемая и воспроизводимая структура системы обеспечивает стабильно высокое качество обучения в различных учреждениях и регионах.

Разработанное для компании Medtronic и работающее на платформе Unity решение для моделирования интубации в режиме XR с интегрированным медицинским агентом на основе искусственного интеллекта было отмечено премиями Auggie Awards , Webby Awards и Telly Awards за инновации в области искусственного интеллекта и иммерсивных технологий. Этот успех подтверждает ценность иммерсивного образования с использованием искусственного интеллекта для развития медицинских навыков и улучшения результатов лечения пациентов.

Международное исследование, опубликованное в Британском журнале анестезиологии, подтвердило эффективность этого иммерсивного обучения с использованием искусственного интеллекта, показав значительные улучшения в понимании процедур, мышечной памяти и общей производительности.

В качестве дополнительного подтверждения его эффективности, компания Samsung недавно представила это решение как революционное решение для здравоохранения во время презентации Galaxy XR в октябре 2025 года. Презентация в прямом эфире профессора доктора наук. Патрик Шётткер считает, что это убедительное доказательство того, как платформа Unity, работающая в режиме реального времени, позволяет проводить обучение в корпоративном масштабе с использованием XR на устройствах Android XR следующего поколения.

Острая необходимость в масштабируемом, основанном на данных медицинском образовании

К 2030 году мир столкнется с нехваткой 10 миллионов медицинских работников. Технологии искусственного интеллекта и XR могут помочь преодолеть этот разрыв, сократив различия в обучении, расширив доступ к экспертным рекомендациям, повысив безопасность пациентов и масштабировав развитие клинических навыков.

Обучение анестезиологии требует точности, адаптивности и безупречного исполнения. Однако традиционные модели сталкиваются с постоянными препятствиями, такими как ограниченный доступ к опытным инструкторам, зависимость от лабораторий физического моделирования и трудности в ознакомлении обучающихся со сложными или редкими сценариями лечения пациентов. Эти ограничения препятствуют масштабируемости, снижают согласованность и влияют на готовность к применению в реальных условиях.

Исследования показывают, что даже опытным врачам необходима постоянная практическая подготовка для поддержания уверенности и совершенствования навыков принятия решений при работе с различными типами пациентов и в различных условиях оборудования. Это демонстрирует необходимость в гибкой, основанной на данных системе обучения, которая позволяет проводить масштабируемые, высокоточные симуляции и предоставлять персонализированную обратную связь в безопасной, контролируемой среде.

Трансформация обучения интубации с помощью адаптивного искусственного интеллекта и расширенной реальности.

Интерактивная обучающая программа по интубации с использованием искусственного интеллекта, разработанная компанией Lucid Reality Labs для Medtronic и работающая на платформе Unity, была создана в сотрудничестве с университетской больницей Лозанны (CHUV) и профессором доктором наук. Патрик Шётткер, заведующий отделением анестезиологии. Эта программа медицинского обучения переосмысливает образование под руководством экспертов, используя адаптивное наставничество на основе искусственного интеллекта и иммерсивное XR моделирование.

Этот опыт воссоздает высокоточную операционную будущего.что позволяет врачам безопасно отрабатывать сложные процедуры интубации под руководством цифрового двойника доктора, работающего на основе искусственного интеллекта. Schoettker. Искусственный интеллект-наставник предоставляет обратную связь в режиме реального времени, клиническое обоснование и пошаговые инструкции в соответствии с медицинскими протоколами.

В процессе обучения учащиеся проходят различные профили пациентов и уровни сложности. Система измеряет точность, время и принятие решений, предоставляя обратную связь и рекомендации для развития индивидуальных навыков.

Разработанная как безопасная, практическая среда обучения, она позволяет врачам проходить обучение в любое время и в любом месте — в больницах, университетах или удаленных учебных центрах, обеспечивая при этом постоянное обновление знаний в соответствии с медицинскими стандартами и актуальными экспертными знаниями.

Система обучения использует фреймворк XR и инструментарий взаимодействия XR для обеспечения кроссплатформенной согласованности, модульности и высокоточной симуляции в реальном времени. Основываясь на этом фундаменте, запатентованная платформа iXR™ от Lucid Reality Labs работает в синергии с Unity, интегрируяМногофункциональное взаимодействие, аналитика и безопасное управление контентом в рамках единой экосистемы, сочетающей клиническую точность с масштабируемостью для предприятий.

Made with Unity: Технический подход и разработка

В основе симуляции лежит Unity , дополненная фреймворком Unity XR Framework, XR Interaction Toolkit и собственной платформой iXR™ от Lucid Reality Labs. Такое сочетание создает гибкую основу для модульного проектирования, многофункционального моделирования, надежной аналитики и бесперебойной доставки контента. Платформа iXR™ предоставляет возможности анализа данных, адаптивных сценариев обучения и точного отслеживания производительности, что крайне важно для моделирования в медицинской сфере, расширяя возможности Unity.

• DevOps, разработанный для масштабируемости и обеспечения стабильности: Надежный конвейер непрерывной интеграции/непрерывного развертывания ( CI/CD) стал основой масштабируемости и надежности. Команды разработчиков и тестировщиков работали в единой среде DevOps , включающей автоматизированное тестирование, контроль версий и оптимизированное развертывание. Каждая сборка была протестирована на поддерживаемых устройствах XR с минимальным временем простоя, что позволило быстро вносить изменения, сократить ручное вмешательство и обеспечить стабильные обновления с контролем версий для ответственных клинических тренировок.
• Архитектура, не зависящая от конкретного устройства: Разработанная в Unity с использованием OpenXR Plugin , эта симуляция по своей сути не зависит от аппаратного обеспечения. Независимо от того, используется ли технология отслеживания движений рук, гарнитуры с контроллерами или устройства отслеживания взгляда, пользовательский опыт остается стабильным и интуитивно понятным, что позволяет развертывать ее в больницах, университетах и ​​учебных центрах по всему миру, независимо от типа XR оборудования.
• Производительность, надежность и реализм: Для удовлетворения требований к точности, предъявляемых в клинической практике, команда внедрила адаптивный рендеринг, оптимизацию задержки и глубокое профилирование производительности. В результате достигается плавная частота кадров клинического уровня с отзывчивым взаимодействием с прибором, поддерживаемая телеметрией с платформы iXR™ для непрерывной доработки и обратной связи в реальном времени.

В чем преимущества Unity?

Компания Lucid Reality Labs выбрала Unity за её проверенную производительность в реальном времени, кроссплатформенную масштабируемость и самую полную в отрасли экосистему разработки XR .

В основе решения лежат следующие базовые технологии Unity :

• Управление Unity XR с помощью OpenXR Plugin — обеспечивает стабильную производительность на разных устройствах благодаря единому интерфейсу для развертывания на нескольких аппаратных платформах.
• XR Interaction Toolkit — обеспечивает интуитивно понятное, физически точное взаимодействие с инструментами и пациентами, необходимое для реалистичности процедур.
• Универсальный конвейер рендеринга (URP) — обеспечивает баланс между высоким качеством визуального вывода и оптимизированной производительностью для автономных гарнитур.
• Пакетный режим Unity для CI/CD — автоматизирует тестирование и конвейеры сборки, повышая скорость доставки и стабильность приложения.
• Инструменты профилирования производительности — обеспечивают глубокую оптимизацию, гарантируя частоту кадров клинического уровня и стабильную надежность.

Процесс от проектирования до внедрения: От прототипа до обучения работе с XR клинического уровня

1. Дизайн, ориентированный на врача: Созданная для врачей и совместно с врачами , эта симуляция была разработана с учетом реальных медицинских рабочих процессов и потребностей в обучении. На каждом этапе проектирования основное внимание уделялось реализму, отражающему последовательность процедур, стандарты безопасности и ключевые моменты принятия клинических решений, чтобы привести показатели успеха в соответствие с реальными результатами операций в операционной.

2. Создание прототипа и тестирование: Первые прототипы Unity были созданы для проверки моделей взаимодействия, логики наставничества ИИ и пользовательского интерфейса. Итеративное тестирование с участием анестезиологов и клинических преподавателей обеспечивало непрерывную обратную связь, улучшая реалистичность, удобство использования и точность обучения в соответствии как с образовательными, так и с оперативными требованиями.

3. Интеграция контента и аналитики: Процедурные сценарии, инструменты и показатели эффективности разрабатывались параллельно с целями обучения. В систему Analytics на ранних этапах внедрения была интегрирована технология iXR™, обеспечивающая сбор данных в режиме реального времени, измеримое отслеживание прогресса и непрерывное совершенствование на протяжении всех тренировочных сессий.

4. Оптимизация и пилотное тестирование: Производительность системы была оптимизирована для различных XR устройств, а также проведено стресс-тестирование с участием экспертов для подтверждения точности, стабильности и клинической достоверности. Данные телеметрии, полученные в ходе пилотных сессий, легли в основу окончательных доработок, обеспечивающих согласованность, надежность и готовность к развертыванию в корпоративной среде.

Основные возможности симуляции здравоохранения в XR).

Этот опыт сочетает в себе реалистичное погружение, адаптивное наставничество с использованием ИИ и телеметрию клинического уровня для безопасного и стабильного масштабирования обучения экспертов.

• Гиперреалистичная симуляция операционной : Воспроизводит реальный клинический темп, подготовку и давление во время процедуры, а также динамически регулирует сложность, чтобы повысить уверенность и снизить когнитивную нагрузку.
• Искусственный интеллект как наставник (цифровой двойник) : Интеллектуальный цифровой двойник ведущего анестезиолога обеспечивает руководство в режиме реального времени, клиническое мышление и адаптивную обратную связь в соответствии с проверенными медицинскими протоколами.
• Дизайн, подтвержденный врачами : Разработан совместно со специалистами в области анестезиологии, чтобы имитировать реальное оборудование, рабочие процессы и стандарты безопасности для непосредственной передачи навыков в реальных условиях.
• Анализ производительности и объективная оценка : Оценивает временные параметры, точность последовательности действий, умение обращаться с приборами и способность принимать решения для структурированных разборов результатов и непрерывного развития навыков.
• Целостность данных и безопасное управление : Платформа iXR™ управляет контентом, ролями пользователей и аналитикой с полной отслеживаемостью, контролем версий и обработкой данных в соответствии с требованиями законодательства.
• Результаты, основанные на доказательствах : В ходе каждой сессии регистрируются взаимодействия и результаты, что позволяет получить измеримые данные о прогрессе в освоении навыков, качестве обучения и усвоении материала.

Переход от моделирования к адаптивному обучению ИИ.

От прототипа до глобального стандарта обучения проект прошел три основных этапа инноваций, каждый из которых расширял влияние медицинского образования на основе Unity:

Этап 1 - Основы виртуальной реальности

Разработанный на платформе Unity интерактивный учебный модуль по управлению дыхательными путями, впоследствии прошедший валидацию в международном исследовании, опубликованном в Британском журнале анестезиологии, с участием сотен врачей из 18 стран.

Результат: Моделирование с XR доказало свою клиническую реалистичность, воспроизводимость и масштабируемость для применения в ситуациях с высокими рисками.

Этап 2 - Медицинский агент на основе ИИ

Внедрение интеллектуального ИИ-наставника, предоставляющего обратную связь и рассуждения в режиме реального времени в той же среде Unity .

Результат: Моделирование трансформировалось в интерактивное, управляемое обучение с учетом результатов и адаптивной обратной связью.

Этап 3 — Иммерсивный интерфейс для интеллектуальных систем.

XR становится интерфейсом для адаптивного ИИ, визуализируя знания, реагируя на решения обучающегося и совершенствуясь с помощью телеметрии. Улучшенное отслеживание движений рук и более глубокий анализ с помощью технологии iXR™ повышают возможности персонализации и развития навыков.

Взгляд в будущее: Расширение возможностей адаптивного ИИ и иммерсивного обучения.

Компания Lucid Reality Labs продолжает совершенствовать свою систему моделирования на основе искусственного интеллекта для поддержки обучения медицинских специалистов корпоративного уровня и проведения сложных процедур, требующих точности, адаптивности и измеримых результатов. Используя Unity в качестве основного движка реального времени, где интеллект сочетается с интерактивностью, следующий этап будет сосредоточен на усилении синергии между ИИ и XR, что позволит проводить обучение, которое будет развиваться и генерировать новые сценарии по запросу.

В числе будущих разработок:

• Создание сценариев с помощью искусственного интеллекта на базе платформы iXR™ позволяет создавать учебные модули по запросу, которые адаптируются к потребностям обучающихся и сокращают трудозатраты на ручную разработку.
• Интеллектуальное управление контентом с помощью Unity Asset Manager , обеспечивающее централизованные обновления, отслеживаемость и бесперебойное развертывание в различных организациях и на разных устройствах.
• Универсальная доступность , обеспечивающая единообразное адаптивное обучение на XR гарнитурах, настольных компьютерах и планшетах, расширяет охват для каждого обучающегося независимо от используемого оборудования.
• Циклы непрерывной оптимизации , в которых аналитические данные позволяют внедрять в систему информацию об улучшениях и навыках для совершенствования процесса принятия решений и ускорения обучения.
• Соответствие корпоративным стандартам , обеспечиваемое модулями, прошедшими экспертную проверку, гарантирующими соответствие требованиям GDPR, HIPAA, стандартам ISO 27001 и передовым клиническим практикам.

Благодаря сочетанию экосистемы Unity, работающей в режиме реального времени, с адаптивным искусственным интеллектом и платформой iXR™ от Lucid Reality Labs, это решение продолжает развиваться, превращаясь в самосовершенствующуюся, масштабируемую систему обучения, призванную повысить клиническую готовность, улучшить безопасность пациентов и сформировать будущее медицинского образования.