沉浸式医学影像可视化与Specto Medical和Unity

沉浸式医学影像可视化与Specto Medical和Unity

Specto Medical 是一家瑞士软件公司，成立于2022年，是巴塞尔大学的衍生公司。Specto Medical已经发展成为一个有前景的健康科技企业。实现监管里程碑对Specto从研究实验室到手术室的旅程至关重要。在强生的JLABS孵化器的支持下，以及成功的种子轮融资，该公司最近获得了FDA 510(k)的临床使用许可，CE标志也在即将到来。

在本文中，了解Specto Medical如何通过沉浸式3D可视化重新定义术前规划和患者沟通——以及他们基于Unity构建的FDA批准的XR平台背后的旅程，这一平台正在将医学影像转变为互动、直观的体验。

注意：本文包含可能会让某些人感到不适的医学图像。

在一次术前规划会话中，一名神经外科医生戴上VR头盔，进入患者的脑部扫描中。复杂的血管纠结以三维形式展示在他们周围，血管异常，即所谓的动脉瘤，迅速被识别出来。曾经是一堆灰度计算机断层扫描（CT）切片的东西，现在变成了一个沉浸式的3D环境，外科医生可以在动脉瘤周围走动，从各个角度检查它。这不是一个遥远的原型；这是与Specto的日常现实，一个基于Unity构建的尖端医学影像可视化平台。

从复杂到清晰

在神经外科这个高风险的领域，清晰就是一切。今天的医学影像技术产生了极其详细的扫描，但这些丰富的数据集在手术规划和患者沟通中往往未被充分利用。传统的2D可视化要求外科医生从平面切片中心理重建复杂的3D解剖结构——这一过程既认知负担重，又容易产生误解。与此同时，患者在面对灰度图像和医学术语时，常常难以理解他们的诊断。

Specto通过将原始成像数据转化为直观且互动的3D可视化，解决了这些挑战，使医疗专业人员和患者都能轻松理解。对于外科医生来说，这意味着减少认知负担，增强空间理解能力。对于患者来说，它提供了一个可接触的窗口，让他们了解自己的病情，用清晰取代焦虑和困惑。

将医学成像转化为可操作的洞察

Specto通过提供一套实用工具，将医学成像生动呈现于三维中，将清晰的承诺转化为行动。从沉浸式可视化和外科规划到远程协作和医院整合，该解决方案在每一步都支持临床医生——从诊断到手术室。

1.高保真医学可视化在XR中

Specto的核心功能是使医疗专业人员能够在几秒钟内在互动XR环境中可视化传统医学成像数据，如CT和MRI。通过实时交互的直接体积渲染，Specto消除了对冗长图像分析、3D重建或表面网格创建的需求。放射数据通过光线行进实时渲染，保留了原始扫描的所有丰富细节。

医生可以动态调整可视化参数，以突出不同的组织或结构，并隔离感兴趣的器官或病理。体积渲染器经过优化，即使在复杂数据集下也能保持高帧率，确保在延长的XR会话中提供流畅舒适的体验。

2.外科规划

超越可视化，Specto 包含用于术前规划的交互工具。外科医生可以标注感兴趣的结构，使用测量工具来评估解剖标志之间的距离或角度，并在患者的解剖结构中虚拟定位植入物以评估其适合度——所有这些都在手术室内进行切口之前。

对于外科医生来说，最具变革性的方面之一是能够以真实的深度感知来可视化复杂的解剖结构。从平面 CT 或 MRI 扫描中重建 3D 图像的心理体操不再是必要的。患者特定的解剖结构以 3D 形式呈现，按比例显示，恰好在他们眼前。这种增强的空间意识提高了外科信心，并可能在手术室内产生似曾相识的效果。

3.在线协作

Specto 支持在共享虚拟环境中的多用户会话。多位外科医生、放射科医生或学生可以加入同一 3D 场景，共同检查一个案例。在教育环境中，讲师可以通过 VR 指导住院医生学习解剖。在临床环境中，来自不同地点和专业领域的外科医生可以在共享虚拟空间中会面，讨论手术方法。

这些协作功能也增强了患者教育。用技术术语告知诊断或查看模糊的黑白扫描图像可能会让患者感到害怕和困惑。

使用 Specto，护理人员可以向患者展示他们身体内部的问题是什么，以及如何以直观的格式修复它，这种格式不需要医学背景即可理解。这种透明度帮助患者成为他们护理旅程中更积极的参与者，而不是被动的治疗接受者。

4.医院集成

Specto 可以与医院的影像和归档系统无缝集成，使外科医生能够快速将扫描图像导入可视化环境。这种集成在早晨手术简报期间节省了宝贵的时间，因为临床医生可以立即访问患者的扫描图像，并在虚拟 3D 环境中讨论案例。

利用Unity的实时3D平台实现精确

为了创建这个实时医学可视化平台，Specto的开发者选择了Unity作为基础——这一决定在灵活性和能力上都得到了回报。

1.快速原型制作和迭代

在早期原型阶段，团队需要在VR中实验各种体积渲染技术和交互概念。Unity的开发环境为快速迭代提供了理想的工具，特别是在着色器开发方面。Unity的热重载功能允许在不重新编译整个应用程序的情况下实时更新着色器代码，为优化体积渲染算法创造了高效的工作流程。当微调驱动Specto可视化的光线行进着色器时，这一功能证明是无价的。

2.高性能图形和集成

Unity的可扩展图形管道使Specto团队能够实现他们的自定义光线行进渲染器，同时仍然受益于强大、经过生产验证的渲染系统的核心能力。他们利用自定义计算着色器进行GPU加速的体积处理，实现了VR医学可视化所需的性能。

内置于Unity的性能分析工具帮助识别和解决性能瓶颈，结果是外科医生可以即时调整组织可见性或应用切割平面和分割以突出内部结构的流畅体验。

3.跨平台XR支持

Unity最重要的优势之一是其广泛的平台和设备支持。借助Unity，团队可以将Specto部署到各种硬件上，而无需在集成新API上投入大量工程资源。该应用程序支持像Meta Quest 3这样的VR头显和像HoloLens 2这样的AR设备。Unity抽象了许多硬件差异，包括不同头显使用的底层图形后端，因此为新设备添加支持相对简单。这种灵活性使Specto在新的XR硬件出现时具备未来保障。

4.Unity生态系统的好处

基于Unity的构建使Specto能够利用成熟且得到良好支持的开发生态系统。在Unity Asset Store上可用的资源，如预构建的资产、工具和第三方包，显著加快了团队的进展——使他们能够专注于核心创新，而不是重新发明基础组件。

例如，Specto使用了Mirror，一个第三方多人框架，快速实现了协作功能，而无需从头构建网络层。其他现成的资源，如简单的3D模型、调试工具和环境资产，帮助简化了开发和原型制作。

Unity的普遍性也意味着与第三方服务和硬件集成的广泛兼容性，而对.NET标准的支持则使得可以访问用于加密、高级日志记录和其他基本后端功能的可信库。

受到外科医生的信任，在护理前线得到验证

最有说服力的验证来自使用该软件的外科医生。

医学教授。拉斐尔·古兹曼，巴塞尔大学医院神经外科主任，以及医学博士。托尔斯滕·格尔克，汉堡海利奥斯诊所的首席医生，证明使用Specto如何通过更精确、微创的方法减少手术时间并提高安全性。

塑造外科护理的未来

随着XR技术的进步——更轻的头戴设备、更清晰的显示屏和更长的电池寿命——使用Specto的体验将变得更加无缝和深远。很容易想象一个未来，在这个未来中，外科医生在VR中查看扫描结果就像阅读病例记录一样常规，而患者在标准护理中会收到个性化的3D解剖导览。

通过将医学专业知识与Unity的实时3D技术相结合，Specto Medical正在帮助弥合复杂医学数据与直观理解之间的差距——使临床医生能够做出更自信的决策，并赋予患者更清晰的健康洞察。

沉浸式医疗保健不再是遥远的未来；它已经到来——并且已经在为外科医生和患者塑造更好的结果。