Visualisation immersive d'imagerie médicale avec Specto Medical et Unity

Visualisation immersive d'imagerie médicale avec Specto Medical et Unity

Specto Medical est une entreprise de logiciels suisse, fondée en 2022, en tant que spin-off de l'Université de Bâle, en Suisse. Specto Medical a évolué en une entreprise prometteuse dans le domaine de la santé. Atteindre des jalons réglementaires a été crucial pour le parcours de Specto, des laboratoires de recherche aux salles d'opération. Avec le soutien de l'incubateur JLABS de Johnson & Johnson et d'un tour de financement réussi, l'entreprise a récemment obtenu l'autorisation FDA 510(k) pour une utilisation clinique, avec un marquage CE à l'horizon.

Dans cet article, découvrez comment Specto Medical redéfinit la planification préchirurgicale et la communication avec les patients grâce à une visualisation immersive en 3D — et le parcours derrière leur plateforme XR approuvée par la FDA, construite sur Unity, qui transforme l'imagerie médicale en une expérience interactive et intuitive.

Remarque : Cet article contient des images médicales qui peuvent être inconfortables pour certains.

Lors d'une session de planification préchirurgicale, un neurochirurgien met un casque VR et entre dans le scan cérébral d'un patient. Un enchevêtrement complexe de vaisseaux sanguins est affiché en trois dimensions autour d'eux et une anomalie vasculaire, un soi-disant anévrisme, est rapidement identifiée. Ce qui était autrefois une pile de coupes de tomodensitométrie (CT) en niveaux de gris est maintenant un environnement immersif en 3D, et le chirurgien peut littéralement marcher autour de l'anévrisme pour l'examiner sous tous les angles. Ce n'est pas un prototype lointain ; c'est une réalité quotidienne avec Specto, une plateforme de visualisation d'imagerie médicale de pointe construite avec Unity.

De la complexité à la clarté

Dans le monde à enjeux élevés de la neurochirurgie, la clarté est primordiale. La technologie d'imagerie médicale d'aujourd'hui produit des scans incroyablement détaillés, mais ces ensembles de données riches sont souvent sous-utilisés dans la planification chirurgicale et la communication avec les patients. Les visualisations 2D traditionnelles obligent les chirurgiens à reconstruire mentalement des anatomies 3D complexes à partir de coupes plates, un processus à la fois cognitivement exigeant et sujet à des erreurs d'interprétation. Pendant ce temps, les patients ont souvent du mal à comprendre leurs diagnostics lorsqu'ils sont présentés avec des images en niveaux de gris et un jargon médical.

Specto répond à ces défis en transformant les données d'imagerie brutes en visualisations 3D intuitives et interactives que les professionnels de la santé et les patients peuvent facilement comprendre. Pour les chirurgiens, cela signifie une charge cognitive réduite et une compréhension spatiale améliorée. Pour les patients, cela offre une fenêtre accessible sur leurs propres conditions, remplaçant l'anxiété et la confusion par la clarté.

Transformer l'imagerie médicale en informations exploitables

Specto transforme cette promesse de clarté en action en offrant une suite d'outils pratiques qui donnent vie à l'imagerie médicale en trois dimensions. De la visualisation immersive et de la planification chirurgicale à la collaboration à distance et à l'intégration hospitalière, la solution soutient les cliniciens à chaque étape, du diagnostic à la salle d'opération.

1. Visualisation médicale haute fidélité en XR

Au cœur de Specto, les professionnels de la santé peuvent visualiser les données d'imagerie médicale traditionnelles, telles que les CT et les IRM, dans un environnement XR interactif en quelques secondes. En utilisant le rendu de volume direct avec interaction en temps réel, Specto élimine le besoin d'analyses d'images longues, de reconstructions 3D ou de création de maillages de surface. Les données radiologiques sont rendues à la volée via ray marching, préservant tous les riches détails du scan original.

Les médecins peuvent ajuster dynamiquement les paramètres de visualisation pour mettre en évidence différents tissus ou structures et isoler les organes ou pathologies d'intérêt. Le rendu de volume est optimisé pour maintenir des taux de rafraîchissement élevés même avec des ensembles de données complexes, garantissant une expérience fluide et confortable lors de sessions XR prolongées.

2. Planification chirurgicale

Allant au-delà de la visualisation, Specto inclut des outils interactifs pour la planification préopératoire. Les chirurgiens peuvent annoter les structures d'intérêt, utiliser des instruments de mesure pour évaluer les distances ou les angles entre les repères anatomiques, et positionner virtuellement des implants dans l'anatomie du patient pour évaluer leur ajustement - tout cela avant de faire une seule incision dans la salle d'opération.

Pour les chirurgiens, l'un des aspects les plus transformateurs est la capacité de visualiser une anatomie complexe avec une véritable perception de la profondeur. Les gymnastiques mentales de reconstruction d'une image 3D à partir de scans CT ou IRM plats ne sont plus nécessaires. L'anatomie spécifique au patient est rendue en 3D, à l'échelle, juste devant leurs yeux. Cette conscience spatiale améliorée renforce la confiance chirurgicale et peut entraîner un effet de déjà-vu dans la salle d'opération.

3. Collaboration en ligne

Specto prend en charge des sessions multi-utilisateurs dans un environnement virtuel partagé. Plusieurs chirurgiens, radiologues ou étudiants peuvent rejoindre la même scène 3D et examiner un cas ensemble de manière collaborative. Dans un cadre éducatif, un instructeur peut guider les résidents à travers l'anatomie en VR. Dans un contexte clinique, des chirurgiens de différents lieux et domaines d'expertise peuvent se rencontrer dans un espace virtuel partagé pour discuter d'une approche chirurgicale.

Ces fonctionnalités collaboratives améliorent également l'éducation des patients. Être informé d'un diagnostic en jargon technique ou regarder des images de scans floues en noir et blanc peut être intimidant et déroutant pour les patients.

En utilisant Specto, les soignants peuvent montrer aux patients quel est le problème à l'intérieur de leur corps et comment il sera résolu dans un format intuitif qui ne nécessite aucun bagage médical pour être compris. Cette transparence aide les patients à devenir des participants plus actifs dans leur parcours de soins plutôt que des récipiendaires passifs de traitements.

4. Intégration hospitalière

Specto peut s'intégrer parfaitement aux systèmes d'imagerie et d'archivage de l'hôpital, permettant aux chirurgiens de rapidement extraire des scans dans l'environnement de visualisation. Cette intégration fait gagner des minutes précieuses lors des briefings chirurgicaux du matin, car les cliniciens peuvent immédiatement accéder aux scans des patients et discuter du cas dans un environnement 3D virtuel.

Alimenter la précision avec la plateforme 3D en temps réel de Unity

Pour créer cette plateforme de visualisation médicale en temps réel, les développeurs de Specto ont choisi Unity comme fondation, une décision qui a porté ses fruits en termes d'agilité et de capacité.

1. Prototypage rapide et itération

Au début de la phase de prototypage, l'équipe devait expérimenter diverses techniques de rendu volumétrique et concepts d'interaction en VR. L'environnement de développement de Unity a fourni des outils idéaux pour une itération rapide, en particulier pour le développement de shaders. La capacité de rechargement à chaud de Unity permet de mettre à jour le code des shaders en temps réel sans recompilation de l'application entière, créant un flux de travail efficace pour affiner les algorithmes de rendu volumétrique. Cette fonctionnalité s'est révélée inestimable lors de l'ajustement des shaders de ray marching qui alimentent la visualisation de Specto.

2. Graphiques haute performance et intégration

Le pipeline graphique extensible de Unity a permis à l'équipe de Specto de mettre en œuvre leur propre moteur de rendu de ray marching tout en bénéficiant des capacités de base d'un système de rendu robuste et éprouvé en production. Ils ont tiré parti de shaders de calcul personnalisés pour le traitement volumétrique accéléré par GPU, atteignant les performances nécessaires pour la visualisation médicale en VR.

Les outils de profilage intégrés à Unity ont aidé à identifier et à résoudre les goulets d'étranglement de performance, résultant en une expérience fluide où les chirurgiens peuvent instantanément ajuster la visibilité des tissus ou appliquer des plans de coupe et des segmentations pour mettre en évidence les structures internes.

3. Support XR multiplateforme

L'une des forces les plus importantes de Unity est son large support de plateformes et d'appareils. Avec Unity, l'équipe peut déployer Specto sur divers matériels sans consacrer des ressources d'ingénierie significatives à l'intégration de nouvelles API. L'application prend en charge les casques VR comme le Meta Quest 3 et les appareils AR comme le HoloLens 2. Unity abstrait de nombreuses différences matérielles, y compris les backends graphiques sous-jacents utilisés par différents casques, donc ajouter le support pour de nouveaux appareils est relativement simple. Cette flexibilité prépare Specto à l'avenir alors que de nouveaux matériels XR émergent.

4. Les avantages de l'écosystème Unity

S'appuyer sur Unity a permis à Specto de tirer parti d'un écosystème de développement mature et bien soutenu. La disponibilité de ressources sur Unity Asset Store telles que des actifs préconstruits, des outils et des packages tiers a considérablement accéléré les progrès de l'équipe, leur permettant de se concentrer sur leurs innovations fondamentales plutôt que de réinventer des composants de base.

Par exemple, Specto a utilisé Mirror, un cadre de travail multiplayer tiers, pour mettre en œuvre rapidement des fonctionnalités collaboratives sans construire une couche de mise en réseau à partir de zéro. D'autres ressources prêtes à l'emploi, telles que des modèles 3D simples, des outils de débogage et des actifs d'environnement, ont aidé à rationaliser le développement et le prototypage.

L'universalité de Unity signifie également une large compatibilité avec des services tiers et des intégrations matérielles, tandis que le support du .NET Standard permet d'accéder à des bibliothèques de confiance pour le cryptage, la journalisation avancée et d'autres fonctionnalités essentielles de backend.

Fiable pour les chirurgiens, validé sur le terrain des soins

La validation la plus convaincante vient des chirurgiens utilisant le logiciel.

Prof. Dr. med. Raphael Guzman, Chef de la neurochirurgie à l'Hôpital Universitaire de Bâle, et Dr. med. Thorsten Gehrke, Médecin-chef à la Clinique Helios à Hambourg, attestent que l'utilisation de Specto a réduit le temps de chirurgie et amélioré la sécurité grâce à des approches plus précises et moins invasives.

Façonner l'avenir des soins chirurgicaux

À mesure que la technologie XR progresse—avec des casques plus légers, des écrans plus nets et une autonomie de batterie plus longue—l'expérience d'utilisation de Specto ne fera que devenir plus fluide et impactante. Il est facile d'imaginer un avenir où la révision des scans en VR est aussi routinière pour les chirurgiens que la lecture des notes de cas, et où les patients reçoivent des visites 3D personnalisées de leur anatomie dans le cadre des soins standards.

En combinant l'expertise médicale avec la technologie 3D en temps réel de Unity, Specto Medical aide à combler le fossé entre des données médicales complexes et une compréhension intuitive—permettant aux cliniciens de prendre des décisions plus confiantes et donnant aux patients des aperçus plus clairs de leur santé.

Les soins de santé immersifs ne sont plus à l'horizon ; ils sont là—et ils façonnent déjà de meilleurs résultats pour les chirurgiens et les patients.