Immersive medizinische Bildgebung mit Specto Medical und Unity

Immersive medizinische Bildgebung mit Specto Medical und Unity

Specto Medical ist ein Schweizer Softwareunternehmen, das 2022 als Spin-off der Universität Basel, Schweiz, gegründet wurde. Specto Medical hat sich zu einem vielversprechenden Healthtech-Unternehmen entwickelt. Die Erreichung regulatorischer Meilensteine war entscheidend für Spectos Weg von Forschungslabors zu Operationssälen. Mit Unterstützung des JLABS-Inkubators von Johnson & Johnson und einer erfolgreichen Seed-Runde hat das Unternehmen kürzlich die FDA 510(k)-Zulassung für die klinische Nutzung erhalten, mit CE-Kennzeichnung in Sicht.

In diesem Artikel erfahren Sie, wie Specto Medical die präoperative Planung und die Patientenkommunikation durch immersive 3D-Visualisierung neu definiert – und die Reise hinter ihrer FDA-zugelassenen XR-Plattform, die auf Unity basiert und die medizinische Bildgebung in ein interaktives, intuitives Erlebnis verwandelt.

Hinweis: Dieser Artikel enthält medizinische Bilder, die für einige unangenehm sein können.

In einer präoperativen Planungssitzung setzt ein Neurochirurg ein VR-Headset auf und betritt den Gehirnscan eines Patienten. Ein komplexes Geflecht von Blutgefäßen wird in drei Dimensionen um sie herum angezeigt, und eine vaskuläre Anomalie, ein sogenanntes Aneurysma, wird schnell identifiziert. Was einst ein Stapel von Graustufen-Computertomographie (CT)-Schnitten war, ist jetzt eine immersive 3D-Umgebung, und der Chirurg kann buchstäblich um das Aneurysma herumgehen, um es aus jedem Winkel zu untersuchen. Das ist kein fernes Prototyp; es ist eine tägliche Realität mit Specto, einer hochmodernen Plattform für medizinische Bildgebung, die mit Unity entwickelt wurde.

Von Komplexität zu Klarheit

In der hochriskanten Welt der Neurochirurgie ist Klarheit alles. Die heutige medizinische Bildgebungstechnologie produziert unglaublich detaillierte Scans, aber diese reichen Datensätze werden oft in der chirurgischen Planung und Patientenkommunikation nicht ausreichend genutzt. Traditionelle 2D-Visualisierungen erfordern von Chirurgen, komplexe 3D-Anatomien aus flachen Schnitten mental zu rekonstruieren – ein Prozess, der sowohl kognitiv anspruchsvoll als auch fehleranfällig ist. In der Zwischenzeit haben Patienten häufig Schwierigkeiten, ihre Diagnosen zu verstehen, wenn sie mit Graustufenbildern und medizinischem Fachjargon konfrontiert werden.

Specto begegnet diesen Herausforderungen, indem es die Rohbilddaten in intuitive und interaktive 3D-Visualisierungen umwandelt, die sowohl medizinische Fachkräfte als auch Patienten leicht verstehen können. Für Chirurgen bedeutet dies eine reduzierte kognitive Belastung und ein verbessertes räumliches Verständnis. Für Patienten bietet es ein zugängliches Fenster in ihre eigenen Erkrankungen und ersetzt Angst und Verwirrung durch Klarheit.

Die Umwandlung medizinischer Bildgebung in umsetzbare Erkenntnisse

Specto verwandelt dieses Versprechen von Klarheit in Aktion, indem es eine Suite praktischer Werkzeuge anbietet, die die medizinische Bildgebung in drei Dimensionen zum Leben erwecken. Von immersiver Visualisierung und chirurgischer Planung bis hin zu Fernzusammenarbeit und Krankenhausintegration unterstützt die Lösung Kliniker in jedem Schritt – von der Diagnose bis zum Operationssaal.

1. Hochauflösende medizinische Visualisierung in XR

Im Kern ermöglicht Specto Gesundheitsfachkräften, traditionelle medizinische Bilddaten wie CT und MRT in einer interaktiven XR-Umgebung innerhalb von Sekunden zu visualisieren. Durch die Verwendung von direkter Volumenrendering mit Echtzeiteingabe eliminiert Specto die Notwendigkeit für langwierige Bildanalysen, 3D-Rekonstruktionen oder die Erstellung von Oberflächen-Meshes. Radiologische Daten werden dynamisch über Ray Marching gerendert, wobei alle reichhaltigen Details des ursprünglichen Scans erhalten bleiben.

Ärzte können die Visualisierungsparameter dynamisch anpassen, um verschiedene Gewebe oder Strukturen hervorzuheben und die Organe oder Pathologien von Interesse zu isolieren. Der Volumenrenderer ist optimiert, um auch bei komplexen Datensätzen hohe Bildwiederholraten aufrechtzuerhalten, was ein reibungsloses und angenehmes Erlebnis in längeren XR-Sitzungen gewährleistet.

2. Chirurgische Planung

Über die Visualisierung hinaus bietet Specto interaktive Werkzeuge für die präoperative Planung. Chirurgen können Strukturen von Interesse annotieren, Messinstrumente verwenden, um Abstände oder Winkel zwischen anatomischen Landmarken zu messen, und Implantate virtuell innerhalb der Anatomie des Patienten positionieren, um ihre Passform zu bewerten – alles, bevor sie einen einzigen Schnitt im Operationssaal machen.

Für Chirurgen ist einer der transformativsten Aspekte die Fähigkeit, komplexe Anatomie mit echtem Tiefenverständnis zu visualisieren. Die geistigen Übungen, ein 3D-Bild aus flachen CT- oder MRT-Scans zu rekonstruieren, sind nicht mehr notwendig. Die patientenspezifische Anatomie wird in 3D, im Maßstab, direkt vor ihren Augen dargestellt. Dieses verbesserte räumliche Bewusstsein steigert das chirurgische Vertrauen und kann zu einem Déjà-vu-Effekt im Operationssaal führen.

3. Online-Zusammenarbeit

Specto unterstützt Mehrbenutzersitzungen in einer gemeinsamen virtuellen Umgebung. Mehrere Chirurgen, Radiologen oder Studenten können der gleichen 3D-Szene beitreten und gemeinsam einen Fall untersuchen. In einem Bildungsumfeld kann ein Ausbilder die Bewohner durch die Anatomie in VR führen. In einem klinischen Kontext können Chirurgen an verschiedenen Standorten und mit unterschiedlichen Fachgebieten in einem gemeinsamen virtuellen Raum zusammentreffen, um einen chirurgischen Ansatz zu besprechen.

Diese kollaborativen Funktionen verbessern auch die Patientenaufklärung. Über eine Diagnose in technischem Jargon informiert zu werden oder unscharfe Schwarz-Weiß-Scanbilder zu betrachten, kann für Patienten einschüchternd und verwirrend sein.

Mit Specto können Pflegekräfte den Patienten zeigen, was das Problem in ihrem Körper ist und wie es in einem intuitiven Format behoben wird, das kein medizinisches Hintergrundwissen erfordert, um es zu verstehen. Diese Transparenz hilft den Patienten, aktivere Teilnehmer an ihrem Pflegeprozess zu werden, anstatt passive Empfänger von Behandlungen.

4. Krankenhausintegration

Specto kann nahtlos mit den Bildgebungs- und Archivierungssystemen des Krankenhauses integriert werden, sodass Chirurgen Scans schnell in die Visualisierungsumgebung ziehen können. Diese Integration spart wertvolle Minuten während der morgendlichen chirurgischen Besprechungen, da Kliniker sofort auf die Scans der Patienten zugreifen und den Fall in einer virtuellen 3D-Umgebung besprechen können.

Die Präzision mit Unitys Echtzeit-3D-Plattform antreiben

Um diese Echtzeit-Medizinvisualisierungsplattform zu erstellen, wählten die Entwickler von Specto Unity als ihre Grundlage – eine Entscheidung, die sich in Agilität und Fähigkeit ausgezahlt hat.

1. Schnelles Prototyping und Iteration

In der frühen Prototyping-Phase musste das Team mit verschiedenen volumetrischen Rendering-Techniken und Interaktionskonzepten in VR experimentieren. Die Entwicklungsumgebung von Unity bot ideale Werkzeuge für schnelle Iterationen, insbesondere für die Shader-Entwicklung. Die Hot-Reloading-Funktion von Unity ermöglicht es, Shader-Code in Echtzeit zu aktualisieren, ohne die gesamte Anwendung neu zu kompilieren, was einen effizienten Workflow zur Verfeinerung von Volumenrendering-Algorithmen schafft. Dieses Feature erwies sich als unschätzbar wertvoll, als es darum ging, die Ray-Marching-Shader, die Spectos Visualisierung antreiben, fein abzustimmen.

2. Hochleistungs-Grafik und Integration

Unitys erweiterbare Grafik-Pipeline ermöglichte es Spectos Team, ihren benutzerdefinierten Ray-Marching-Renderer zu implementieren und gleichzeitig von den Kernfähigkeiten eines robusten, produktionsbewährten Rendering-Systems zu profitieren. Sie nutzten benutzerdefinierte Compute-Shader für die GPU-beschleunigte Volumenverarbeitung und erreichten die für die medizinische Visualisierung in VR erforderliche Leistung.

Die in Unity integrierten Profiling-Tools halfen, Leistungsengpässe zu identifizieren und zu beheben, was zu einem reibungslosen Erlebnis führte, bei dem Chirurgen die Sichtbarkeit von Gewebe sofort anpassen oder Schnittflächen und Segmentierungen anwenden können, um innere Strukturen hervorzuheben.

3. Plattformübergreifende XR-Unterstützung

Eine der wichtigsten Stärken von Unity ist die breite Unterstützung von Plattformen und Geräten. Mit Unity kann das Team Specto auf verschiedenen Hardwareplattformen bereitstellen, ohne erhebliche Ingenieurressourcen für die Integration neuer APIs aufwenden zu müssen. Die Anwendung unterstützt VR-Headsets wie Meta Quest 3 und AR-Geräte wie HoloLens 2. Unity abstrahiert viele Hardwareunterschiede, einschließlich der zugrunde liegenden Grafik-Backends, die von verschiedenen Headsets verwendet werden, sodass die Unterstützung neuer Geräte relativ unkompliziert ist. Diese Flexibilität sichert die Zukunft von Specto, während neue XR-Hardware auf den Markt kommt.

4. Vorteile des Unity-Ökosystems

Der Aufbau auf Unity ermöglichte es Specto, auf ein reifes und gut unterstütztes Entwicklungsökosystem zuzugreifen. Die Verfügbarkeit von Ressourcen im Unity Asset Store, wie vorgefertigten Assets, Tools und Drittanbieter-Paketen, beschleunigte den Fortschritt des Teams erheblich – und ermöglichte es ihnen, sich auf ihre Kerninnovationen zu konzentrieren, anstatt grundlegende Komponenten neu zu erfinden.

Zum Beispiel verwendete Specto Mirror, ein Drittanbieter-Multiplayer-Framework, um schnell kollaborative Funktionen zu implementieren, ohne eine Netzwerkebene von Grund auf neu zu erstellen. Andere handelsübliche Ressourcen, wie einfache 3D-Modelle, Debugging-Tools und Umgebungs-Assets, halfen, die Entwicklung und Prototypenerstellung zu optimieren.

Die Allgegenwart von Unity bedeutet auch eine breite Kompatibilität mit Drittanbieterdiensten und Hardware-Integrationen, während die Unterstützung des .NET Standards den Zugriff auf vertrauenswürdige Bibliotheken für Verschlüsselung, erweiterte Protokollierung und andere wesentliche Backend-Funktionalitäten ermöglicht.

Vertraut von Chirurgen, validiert an der Frontlinie der Versorgung

Die überzeugendste Validierung kommt von den Chirurgen, die die Software verwenden.

Prof. Dr. med. Raphael Guzman, Leiter der Neurochirurgie am Universitätsspital Basel, und Dr. med. Thorsten Gehrke, Chefarzt der Helios Klinik in Hamburg, bestätigen, dass die Verwendung von Specto die Operationszeit verkürzt und die Sicherheit durch präzisere, minimalinvasive Ansätze verbessert hat.

Gestaltung der Zukunft der chirurgischen Versorgung

Mit dem Fortschritt der XR-Technologie – leichteren Headsets, schärferen Displays und längerer Akkulaufzeit – wird die Nutzung von Specto nur nahtloser und wirkungsvoller werden. Es ist leicht, sich eine Zukunft vorzustellen, in der das Überprüfen von Scans in VR für Chirurgen so routinemäßig ist wie das Lesen von Fallnotizen, und in der Patienten personalisierte 3D-Touren durch ihre Anatomie als Teil der Standardversorgung erhalten.

Durch die Kombination medizinischer Expertise mit Unitys Echtzeit-3D-Technologie hilft Specto Medical, die Kluft zwischen komplexen medizinischen Daten und intuitivem Verständnis zu überbrücken – was es Klinikern ermöglicht, sicherere Entscheidungen zu treffen und Patienten klarere Einblicke in ihre Gesundheit zu geben.

Immersive Gesundheitsversorgung ist nicht mehr in der Zukunft; sie ist hier – und sie gestaltet bereits bessere Ergebnisse sowohl für Chirurgen als auch für Patienten.