Specto MedicalとUnityによる没入型医療画像可視化

Specto MedicalとUnityによる没入型医療画像可視化

Specto Medical は、2022年にスイスのバーゼル大学からスピンオフとして設立されたスイスのソフトウェア会社です。Specto Medicalは、有望なヘルステック企業へと進化しました。規制のマイルストーンを達成することは、Spectoの研究室から手術室への旅において重要でした。ジョンソン・エンド・ジョンソンのJLABSインキュベーターからの支援と成功したシードラウンドにより、同社は最近、臨床使用のためのFDA 510(k)承認を取得し、CEマーキングも視野に入れています。

この記事では、Specto Medicalが没入型3D可視化を通じて手術前の計画と患者コミュニケーションをどのように再定義しているか、そしてUnity上に構築されたFDA承認のXRプラットフォームの背後にある旅を発見します。このプラットフォームは、医療画像をインタラクティブで直感的な体験に変えています。

注意：この記事には、一部の方には不快に感じられる医療画像が含まれています。

手術前の計画セッションで、神経外科医はVRヘッドセットを装着し、患者の脳スキャンの中に入ります。複雑な血管の絡まりが三次元で表示され、血管の異常、いわゆる動脈瘤がすぐに特定されます。かつてはグレースケールのコンピュータ断層撮影（CT）スライスの山だったものが、今や没入型の3D環境となり、外科医は動脈瘤の周りを実際に歩き回り、あらゆる角度から調べることができます。これは遠い未来のプロトタイプではなく、Spectoという最先端の医療画像可視化プラットフォームを使用した日常の現実です。Unityで構築されています。

複雑さから明確さへ

神経外科の高リスクな世界では、明確さがすべてです。今日の医療画像技術は非常に詳細なスキャンを生成しますが、これらの豊富なデータセットは手術計画や患者コミュニケーションでしばしば十分に活用されていません。従来の2D可視化は、外科医が平面スライスから複雑な3D解剖学を精神的に再構築することを要求します。これは認知的に負担が大きく、誤解を招く可能性があります。一方、患者はしばしばグレースケール画像や医療用専門用語が提示されると、自分の診断を理解するのに苦労します。

Spectoは、医療専門家と患者の両方が簡単に理解できる直感的でインタラクティブな3D可視化に生の画像データを変換することで、これらの課題に対処します。外科医にとって、これは認知負荷の軽減と空間理解の向上を意味します。患者にとっては、自分の状態を理解するためのアクセス可能なウィンドウを提供し、不安や混乱を明確さに置き換えます。

医療画像を実用的な洞察に変換する

Spectoは、医療画像を3次元で生き生きと表現する実用的なツールのスイートを提供することで、その明確さの約束を行動に移します。没入型可視化や外科手術計画からリモートコラボレーション、病院統合に至るまで、このソリューションは診断から手術室まで、すべてのステップで臨床医をサポートします。

1.XRにおける高忠実度の医療可視化

Spectoは、医療専門家がCTやMRIなどの従来の医療画像データを数秒でインタラクティブなXR環境で可視化できるようにします。リアルタイムインタラクションを伴う直接ボリュームレンダリングを使用することで、Spectoは長時間の画像分析、3D再構築、または表面メッシュの作成の必要性を排除します。放射線データは、レイマーチングを介してその場でレンダリングされ、元のスキャンの豊かな詳細が保持されます。

医師は、異なる組織や構造を強調し、関心のある臓器や病理を特定するために、可視化パラメータを動的に調整できます。ボリュームレンダラーは、複雑なデータセットでも高フレームレートを維持するように最適化されており、長時間のXRセッションでスムーズで快適な体験を保証します。

2.外科手術の計画

可視化を超えて、Spectoは術前計画のためのインタラクティブツールを含んでいます。外科医は、関心のある構造に注釈を付け、解剖学的ランドマーク間の距離や角度を測定するための測定器具を使用し、患者の解剖内にインプラントを仮想的に配置してその適合性を評価できます—すべて、手術室で一度も切開を行う前に。

外科医にとって、最も変革的な側面の一つは、真の深度知覚を持って複雑な解剖を可視化する能力です。平面CTやMRIスキャンから3D画像を再構築するための精神的な体操はもはや必要ありません。患者特有の解剖は、スケールで3Dで、目の前に描画されます。この強化された空間認識は外科的自信を向上させ、手術室でのデジャヴ効果をもたらすことがあります。

3.オンラインコラボレーション

Spectoは、共有された仮想環境でのマルチユーザーセッションをサポートします。複数の外科医、放射線科医、または学生が同じ3Dシーンに参加し、一緒にケースを共同で検討できます。教育の場では、インストラクターが住民をVRで解剖学を通じて指導できます。臨床の文脈では、異なる場所や専門分野の外科医が共有された仮想空間で会い、外科的アプローチについて議論できます。

これらの共同機能は、患者教育も強化します。技術的な専門用語で診断について説明されたり、ぼやけた白黒のスキャン画像を見たりすることは、患者にとって威圧的で混乱を招くことがあります。

Spectoを使用することで、ケア提供者は患者に体内の問題が何であるか、どのように修正されるかを直感的な形式で示すことができ、医療のバックグラウンドがなくても理解できます。この透明性は、患者が治療の受け手ではなく、ケアの旅のより積極的な参加者になるのを助けます。

4.病院統合

Spectoは、病院の画像およびアーカイブシステムとシームレスに統合でき、外科医が可視化環境にスキャンを迅速に取り込むことを可能にします。この統合は、朝の外科的ブリーフィング中に貴重な数分を節約し、臨床医は患者のスキャンに即座にアクセスし、仮想3D環境でケースを議論できます。

Unityのリアルタイム3Dプラットフォームで精度を高める

このリアルタイム医療可視化プラットフォームを作成するために、Spectoの開発者はUnityを基盤として選択しました。この決定は、機敏性と能力において大きな利益をもたらしました。

1.ラピッドプロトタイピングと反復

初期のプロトタイピング段階では、チームはVRにおけるさまざまなボリュメトリックレンダリング技術とインタラクションコンセプトを試す必要がありました。Unityの開発環境は、特にシェーダー開発において迅速な反復のための理想的なツールを提供しました。Unityのホットリロード機能により、シェーダーコードをリアルタイムで更新でき、アプリケーション全体を再コンパイルすることなく、ボリュームレンダリングアルゴリズムを洗練するための効率的なワークフローを作成します。この機能は、Spectoの可視化を支えるレイマーチングシェーダーを微調整する際に非常に貴重でした。

2.高性能グラフィックスとインテグレーション

Unityの拡張可能なグラフィックスパイプラインにより、Spectoのチームはカスタムレイマーチングレンダラーを実装しながら、堅牢で生産実績のあるレンダリングシステムのコア機能の恩恵を受けることができました。彼らはGPU加速ボリューム処理のためにカスタムコンピュートシェーダーを活用し、VRにおける医療可視化に必要なパフォーマンスを達成しました。

Unityに組み込まれたプロファイリングツールは、パフォーマンスのボトルネックを特定し解決するのに役立ち、外科医が組織の可視性を即座に調整したり、カッティングプレーンやセグメンテーションを適用して内部構造を強調表示するスムーズな体験を実現しました。

3.クロスプラットフォームXRサポート

Unityの最も重要な強みの1つは、その広範なプラットフォームとデバイスのサポートです。Unityを使用することで、チームは新しいAPIの統合に多くのエンジニアリングリソースを割くことなく、Spectoをさまざまなハードウェアに展開できます。アプリケーションは、Meta Quest 3のようなVRヘッドセットやHoloLens 2のようなARデバイスをサポートしています。Unityは、異なるヘッドセットによって使用される基盤となるグラフィックスバックエンドを含む多くのハードウェアの違いを抽象化しているため、新しいデバイスのサポートを追加するのは比較的簡単です。この柔軟性は、新しいXRハードウェアが登場する際にSpectoを将来にわたって保護します。

4.Unityエコシステムの利点

Unityを基盤にすることで、Spectoは成熟したサポートのある開発エコシステムを活用できました。事前構築されたアセット、ツール、サードパーティパッケージなどのリソースがUnity Asset Storeで利用可能であり、チームの進捗を大幅に加速させ、基盤となるコンポーネントを再発明するのではなく、コアの革新に集中できるようになりました。

例えば、SpectoはMirrorというサードパーティのマルチプレイヤーフレームワークを使用して、ネットワーキングレイヤーをゼロから構築することなく、迅速にコラボレーション機能を実装しました。シンプルな3Dモデル、デバッグツール、環境アセットなどの他の市販リソースは、開発とプロトタイピングを効率化するのに役立ちました。

Unityの普及は、サードパーティサービスやハードウェア統合との広範な互換性を意味し、.NET Standardのサポートにより、暗号化、上級者向けのロギング、その他の重要なバックエンド機能のための信頼できるライブラリにアクセスできます。

外科医に信頼され、ケアの最前線で検証された

最も説得力のある検証は、ソフトウェアを使用している外科医から得られます。

医学博士。ラファエル・グズマン、バーゼル大学病院の神経外科部長、及び医学博士。トーステン・ゲルケ、ハンブルクのヘリオスクリニックの主任医師は、Spectoを使用することで手術時間が短縮され、より正確で侵襲性の少ないアプローチを通じて安全性が向上したことを証言しています。

外科医療の次の形を作る

XR技術が進化するにつれて、より軽量なヘッドセット、鮮明なディスプレイ、長持ちするバッテリーライフが実現し、Spectoを使用する体験はますますシームレスで影響力のあるものになるでしょう。VRでスキャンをレビューする未来は、外科医にとって症例ノートを読むのと同じくらい日常的なものになると簡単に想像できます。また、患者は標準的なケアの一環として自分の解剖のパーソナライズされた3Dツアーを受け取ることができます。

医療の専門知識とUnityのリアルタイム3D技術を組み合わせることで、Specto Medicalは複雑な医療データと直感的な理解のギャップを埋める手助けをしています。これにより、臨床医はより自信を持って意思決定を行い、患者は自分の健康についてより明確な洞察を得ることができます。

没入型ヘルスケアはもはや地平線の向こうにはありません。それはここにあり、すでに外科医と患者の両方にとってより良い結果を形作っています。