日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
手術ナビゲーションarXiv:2610.12780

MIRAGE:手術ナビゲーションと可視化のための新しい統合フレームワーク

Multimodal Image-based Robotic Assistance and Guidance Environment (MIRAGE): A Novel Unified Framework for Surgical Navigation and Visualization

シェア:XThreadsFacebookLINEはてブBluesky

多様な画像情報を統合し、da Vinci手術ロボットのコンソール上でリアルタイムに可視化・ナビゲーションするフレームワークMIRAGEを開発し、ファントム実験で精度を検証した。

詳しい要約

1. どんなもの?

- 本論文は、MIRAGE(Multimodal Image-based Robotic Assistance and Guidance Environment)という、手術ナビゲーションと可視化のための新しい統合フレームワークを提案する。 - これは、da VinciコンソールのTileProディスプレイ内で、ステレオビジョンによるシーン再構成、ARビデオオーバーレイ、定量化されたヘッズアップディスプレイ(HUD)ナビゲーション、術中超音波を統合するマルチモーダル画像誘導ロボット手術フレームワークである。 - 追加モジュールとして、光学/電磁トラッカー登録、ステレオキャリブレーション、RMSEフィードバック付きの基準点剛体登録、3D点群再構成がある。 - ビデオI/OとレンダリングはC++バックエンドで実行され、Python GUIがキャリブレーション、登録、再構成、可視化、ユーザーインタラクションをプロセス内ゼロコピーバインディング層を通じて調整する。 - フレームワークは空間変換、モジュール状態、異種ビデオとトラッキングストリームの同期を形式化する。 - 術前キャリブレーションは…

2. 先行研究と比べてどこがすごい?

- 要旨からは不明。先行研究との具体的な比較は記述されていない。

3. 技術・手法の肝は?

- ステレオビジョンによるシーン再構成、ARビデオオーバーレイ、定量化されたHUDナビゲーション、術中超音波を統合。 - 光学/電磁トラッカー登録、ステレオキャリブレーション、RMSEフィードバック付き基準点剛体登録、3D点群再構成。 - ビデオI/OとレンダリングはC++バックエンド、Python GUIがプロセス内ゼロコピーバインディング層で調整。 - 空間変換、モジュール状態、異種ビデオとトラッキングストリームの同期を形式化。 - 術前キャリブレーションは同期チェッカーボード画像ペアと最適化を用い、内部・外部パラメータと補正を術中に再利用。

4. どうやって有効だと検証した?

- da Vinci S、Si、Xi、SPプラットフォームでのファントム実験により検証。 - 臨床的に関連する作業距離にわたり、平均3D再投影誤差0.6mm、Xiでの100mmにおいて最良0.1mm RMSEを達成。

5. 議論はある?

- 要旨からは不明。議論や限界についての記述はない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。同分野の定番として、da Vinci Research Kit (dVRK) やImage-Guided Robotic Surgery (IGRS) 関連の論文が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ehsan Nasiri, Yi Zheng, Michael A. Kokko, Xiaoyao Fan, William R. Warner, Keith D. Paulsen, Ryan J. Halter

分類: cs.RO

原文アブストラクト

This paper presents the computational architecture and quantitative preclinical evaluation of MIRAGE, a multimodal image-guided robotic surgery framework for real-time visualization and navigation. It integrates stereovision scene reconstruction, augmented-reality (AR) video overlay, quantified heads-up display (HUD) navigation, and intraoperative ultrasound within the da Vinci console's TilePro display (Intuitive Surgical). Additional modules include optical/electromagnetic tracker registration, stereo calibration, fiducial rigid registration with RMSE feedback, and 3D point-cloud reconstruction. Video I/O and rendering run in a C++ backend, while a Python GUI coordinates calibration, registration, reconstruction, visualization, and user interaction through an in-process zero-copy binding layer. The framework formalizes spatial transforms, module states, and synchronization of heterogeneous video and tracking streams. Preoperative calibration uses synchronized checkerboard image pairs and optimization, with estimated intrinsics, extrinsics, and rectification reused intraoperatively. MIRAGE was validated in phantom experiments across da Vinci S, Si, Xi, and SP platforms. Across clinically relevant working distances, mean 3D reprojection error was 0.6mm, with best 0.1mm RMSE at 100mm on Xi. Results support MIRAGE as a preclinical technical-validation platform for accurate, responsive, and extensible multimodal surgical guidance.

関連論文

PR本紙発行元 EmplifAI