Иммерсивная медицинская визуализация с Specto Medical и Unity

Иммерсивная медицинская визуализация с Specto Medical и Unity

Specto Medical является швейцарской программной компанией, основанной в 2022 году как спин-офф Университета Базеля, Швейцария. Specto Medical превратилась в многообещающее предприятие в области здравоохранения. Достижение регуляторных вех было критически важным для пути Specto от исследовательских лабораторий к операционным. С поддержкой инкубатора JLABS от Johnson & Johnson и успешным раундом начального финансирования, компания недавно получила разрешение FDA 510(k) на клиническое использование, с CE-маркировкой на горизонте.

В этой статье узнайте, как Specto Medical переопределяет предоперационное планирование и коммуникацию с пациентами с помощью иммерсивной 3D-визуализации — и путь, который стоит за их платформой XR, одобренной FDA, построенной на Unity, которая трансформирует медицинскую визуализацию в интерактивный, интуитивный опыт.

Примечание. Эта статья содержит медицинские изображения, которые могут быть неприятны для некоторых.

На предоперационной сессии нейрохирург надевает VR-гарнитуру и входит в сканирование мозга пациента. Сложный клубок кровеносных сосудов отображается в трех измерениях вокруг них, и сосудистая аномалия, так называемый аневризма, быстро идентифицируется. То, что когда-то было стопкой серых срезов компьютерной томографии (КТ), теперь является иммерсивной 3D-средой, и хирург может буквально обойти аневризму, чтобы рассмотреть ее с разных углов. Это не далекий прототип; это повседневная реальность с Specto, передовой платформой медицинской визуализации, построенной с помощью Unity.

От сложности к ясности

В мире нейрохирургии, где ставки высоки, ясность — это все. Современные технологии медицинской визуализации производят невероятно детализированные сканы, но эти богатые наборы данных часто недоиспользуются в предоперационном планировании и коммуникации с пациентами. Традиционные 2D визуализации требуют от хирургов умственной реконструкции сложной 3D анатомии из плоских срезов — процесс, который требует значительных когнитивных усилий и подвержен ошибкам интерпретации. Тем временем пациенты часто испытывают трудности с пониманием своих диагнозов, когда им показывают черно-белые изображения и медицинский жаргон.

Specto решает эти проблемы, преобразуя сырые данные изображений в интуитивные и интерактивные 3D визуализации, которые легко понимают как медицинские работники, так и пациенты. Для хирургов это означает снижение когнитивной нагрузки и улучшение пространственного понимания. Для пациентов это предоставляет доступное окно в их собственные состояния, заменяя тревогу и путаницу ясностью.

Преобразование медицинской визуализации в действенные инсайты

Specto превращает это обещание ясности в действие, предлагая набор практических инструментов, которые оживляют медицинскую визуализацию в трех измерениях. От погружающей визуализации и хирургического планирования до удаленного сотрудничества и интеграции в больницы, решение поддерживает клиницистов на каждом этапе — от диагностики до операционной.

1. Высококачественная медицинская визуализация в XR

В своей основе Specto позволяет медицинским работникам визуализировать традиционные данные медицинской визуализации, такие как КТ и МРТ, в интерактивной среде XR за считанные секунды. Используя прямую объемную визуализацию с интерактивностью в реальном времени, Specto устраняет необходимость в длительном анализе изображений, 3D реконструкциях или создании поверхностных сеток. Радиологические данные визуализируются на лету с помощью марширования лучей, сохраняя все богатые детали оригинального сканирования.

Врачи могут динамически настраивать параметры визуализации, чтобы выделить различные ткани или структуры и изолировать органы или патологию, представляющие интерес. Объемный рендерер оптимизирован для поддержания высокой частоты кадров даже с сложными наборами данных, обеспечивая плавный и комфортный опыт в длительных сессиях XR.

2. Хирургическое планирование

Выходя за рамки визуализации, Specto включает интерактивные инструменты для предоперационного планирования. Хирурги могут аннотировать структуры, представляющие интерес, использовать измерительные инструменты для оценки расстояний или углов между анатомическими ориентирами и виртуально размещать имплантаты в анатомии пациента, чтобы оценить их соответствие — все это до того, как будет сделан единственный разрез в операционной.

Для хирургов одним из самых трансформирующих аспектов является возможность визуализировать сложную анатомию с истинным восприятием глубины. Ментальная гимнастика по восстановлению 3D-изображения из плоских КТ или МРТ-сканов больше не требуется. Анатомия, специфичная для пациента, отображается в 3D, в масштабе, прямо перед их глазами. Это улучшенное пространственное восприятие повышает уверенность хирургов и может привести к эффекту дежавю в операционной.

3. Онлайн-сотрудничество

Specto поддерживает многопользовательские сессии в общем виртуальном окружении. Несколько хирургов, радиологов или студентов могут присоединиться к одной и той же 3D-сцене и совместно изучать случай. В образовательной среде инструктор может проводить резидентов через анатомию в VR. В клиническом контексте хирурги из разных мест и областей экспертизы могут встречаться в общем виртуальном пространстве, чтобы обсудить хирургический подход.

Эти совместные функции также улучшают образование пациентов. Получение информации о диагнозе на техническом жаргоне или просмотр размытых черно-белых изображений сканирования может быть пугающим и запутанным для пациентов.

Используя Specto, медицинские работники могут показать пациентам, в чем проблема внутри их тела и как она будет исправлена в интуитивно понятном формате, который не требует медицинского образования для понимания. Эта прозрачность помогает пациентам стать более активными участниками своего пути к лечению, а не пассивными получателями лечения.

4. Интеграция в больницу

Specto может бесшовно интегрироваться с системами визуализации и архивирования больницы, позволяя хирургам быстро загружать сканы в среду визуализации. Эта интеграция экономит драгоценные минуты во время утренних хирургических брифингов, так как клиницисты могут немедленно получить доступ к сканам пациентов и обсудить случай в виртуальной 3D-среде.

Обеспечение точности с помощью платформы Unity для 3D в реальном времени

Для создания этой платформы медицинской визуализации в реальном времени разработчики Specto выбрали Unity в качестве своей основы — решение, которое оправдало себя в плане гибкости и возможностей.

1. Быстрое прототипирование и итерация

На ранней стадии прототипирования команде нужно было экспериментировать с различными техниками объемного рендеринга и концепциями взаимодействия в VR. Среда разработки Unity предоставила идеальные инструменты для быстрой итерации, особенно для разработки шейдеров. Возможность горячей перезагрузки в Unity позволяет обновлять код шейдеров в реальном времени без повторной компиляции всего приложения, создавая эффективный рабочий процесс для уточнения алгоритмов объемного рендеринга. Эта функция оказалась бесценной при тонкой настройке шейдеров для трассировки лучей, которые обеспечивают визуализацию Specto.

2. Графика высокой производительности и интеграция

Расширяемая графическая система Unity позволила команде Specto реализовать свой собственный рендерер для трассировки лучей, при этом сохраняя преимущества основных возможностей надежной, проверенной в производстве системы рендеринга. Они использовали пользовательские вычислительные шейдеры для обработки объемов с ускорением на GPU, достигая необходимой производительности для медицинской визуализации в VR.

Встроенные в Unity инструменты профилирования помогли выявить и устранить узкие места производительности, что привело к плавному опыту, когда хирурги могут мгновенно регулировать видимость тканей или применять плоскости среза и сегментации для выделения внутренних структур.

3. Кроссплатформенная поддержка XR

Одним из самых важных преимуществ Unity является его широкая поддержка платформ и устройств. С помощью Unity команда может развернуть Specto на различных аппаратных средствах, не выделяя значительные инженерные ресурсы на интеграцию новых API. Приложение поддерживает VR-гарнитуры, такие как Meta Quest 3, и AR-устройства, такие как HoloLens 2. Unity абстрагирует многие аппаратные различия, включая базовые графические интерфейсы, используемые различными гарнитурами, поэтому добавление поддержки новых устройств относительно просто. Эта гибкость обеспечивает будущее Specto по мере появления нового XR-оборудования.

4. Преимущества экосистемы Unity

Работа на Unity позволила Specto использовать зрелую и хорошо поддерживаемую экосистему разработки. Наличие ресурсов на Unity Asset Store, таких как готовые активы, инструменты и сторонние пакеты, значительно ускорило прогресс команды, освободив их для сосредоточения на своих основных инновациях, а не на переосмыслении основных компонентов.

Например, Specto использовал Mirror, стороннюю многопользовательскую платформу, чтобы быстро реализовать совместные функции без создания сетевого слоя с нуля. Другие готовые ресурсы, такие как простые 3D-модели, инструменты отладки и активы окружения, помогли оптимизировать разработку и прототипирование.

Универсальность Unity также означает широкую совместимость с сторонними сервисами и аппаратными интеграциями, в то время как поддержка .NET Standard обеспечивает доступ к проверенным библиотекам для шифрования, расширенного ведения журналов и другой важной функциональности на стороне сервера.

Доверено хирургами, подтверждено на передовой медицинской помощи

Самое убедительное подтверждение приходит от хирургов, использующих программное обеспечение.

Проф. д-р мед. Рафаэль Гузман, заведующий нейрохирургией Университетской больницы Базеля, и д-р мед. Торстен Герхке, главный врач клиники Helios в Гамбурге, подтверждают, что использование Specto сократило время операции и повысило безопасность благодаря более точным, минимально инвазивным подходам.

Формирование будущего хирургической помощи

С развитием технологий XR — с более легкими гарнитурами, более четкими дисплеями и более длительным временем работы от батареи — использование Specto станет еще более бесшовным и значимым. Легко представить будущее, в котором просмотр сканов в VR станет таким же обычным для хирургов, как чтение медицинских записей, и где пациенты получают персонализированные 3D-экскурсии по своей анатомии как часть стандартного ухода.

Объединив медицинскую экспертизу с технологией реального времени 3D от Unity, Specto Medical помогает преодолеть разрыв между сложными медицинскими данными и интуитивным пониманием — позволяя клиницистам принимать более уверенные решения и наделяя пациентов более ясными представлениями о своем здоровье.

Иммерсивная медицина больше не на горизонте; она здесь — и уже формирует лучшие результаты как для хирургов, так и для пациентов.