手術支援/センサ融合2026/9/22arXiv:2609.25577

手術室における手持ち腹腔鏡器具の動きの記録：慣性・距離・視覚センシングの磁力計不要な融合

Recording Hand-Held Laparoscopic Instrument Motion in the Operating Room: Magnetometer-Free Fusion of Inertial, Range and Visual Sensing

シェア:X Threads Facebook LINE はてブ Bluesky

磁力計を使わずに6軸IMU・ToF距離計・マーカーレスカメラを誤差状態カルマンフィルタで融合し、トロカールの遠隔運動中心下で手持ち腹腔鏡器具の姿勢を高精度に推定するロガーを開発した。

詳しい要約

1. どんなもの？

- 腹腔鏡下手術で使用される手持ち器具の動きを記録するシステム。 - 器具にクリップオンするデバイスで、6軸IMU、ToF距離センサ、マーカーレスカメラを統合。 - トロカールのRCM制約下で誤差状態カルマンフィルタを用い、器具の姿勢と位置を推定。 - 磁力計を使わず、シャフトのシルエットからU-Netでセグメンテーションしてヘディングを推定。 - 手術技能評価やロボット学習に役立つメートル法の先端軌跡を記録可能。

2. 先行研究と比べてどこがすごい？

- 従来は内視鏡ビデオのみが保存され、器具の動きは失われていた。 - ビデオのみの姿勢推定は数mm～数cmの誤差があった。 - 器具搭載IMUは磁力計がツール姿勢やセッション間で磁場が変化するため信頼できなかった。 - 提案手法は磁力計を使わず、U-Netによるシャフトシルエットからヘディングを得ることで、回転角誤差0.200°を達成（加速度計と磁力計のみでは3.58°）。 - 磁場の乱れに依存しない精度を実現。

3. 技術・手法の肝は？

- 6軸IMUとToF距離センサ、マーカーレスカメラを誤差状態カルマンフィルタで融合。 - トロカールのRCM制約を利用。 - ヘディングは磁力計の代わりに、U-Netでセグメント化したシャフトシルエットから取得。 - 患者に挿入される部分を変更せず、従来器具にクリップオン可能。 - リアルタイムで軌跡を表示。

4. どうやって有効だと検証した？

- Franka Research 3マニピュレータを用い、アライメントなしで評価。 - 300回の並進試行で変位誤差1.21mm RMS、180回の回転試行で相対回転誤差0.34° RMS。 - 連続軌跡では、3つのフィルタパラメータを事後調整後、絶対先端誤差はプログラム時1.22mm、遠隔操作時3.04mm。 - 完全融合がすべてのセンササブセットを上回った。

5. 議論はある？

- 磁気測定を使用しないため、精度が磁場の乱れに依存しない。 - 同じクリップオンデバイスで、日常の手持ち腹腔鏡下手術中にメートル法の先端軌跡を記録可能。 - 器具が患者内に入ると見えなくなる挿入深度と姿勢を表示できる。 - 要旨からは、臨床現場での実用性や限界についての議論は不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：ビデオのみの姿勢推定、器具搭載IMU（磁力計使用）、U-Netを用いたセグメンテーション、Franka Research 3マニピュレータ。 - 関連手法：誤差状態カルマンフィルタ、RCM制約、ToF距離センサ、マーカーレスカメラ。 - 同分野の定番：手術技能評価、ロボット学習、腹腔鏡下手術のモーション解析。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiyul Lee, Dongho Yee, Juahn Oh, Jinseok Lee, Yechan Seo, Seong Jeong, Minsung Kim, Seonho Shim, Younghoon Noh, Hyuk Choi, Youngbin Kong, Hyoun-Joong Kong

分類: cs.RO

原文アブストラクト

Most minimally invasive procedures are still performed with hand-held laparoscopic instruments, yet only the endoscopic video is retained; the instrument motion that expresses surgical skill, and that could support skill assessment and robot learning, is lost. Pose from video alone remains millimeters to centimeters off, and an instrument-mounted inertial measurement unit (IMU) cannot rely on its magnetometer, whose field changed with tool pose and between sessions in our measurements. We present a surgical instrument-state logger that clips onto a conventional instrument without modifying the part that enters the patient and fuses a six-axis IMU and a time-of-flight (ToF) rangefinder with a markerless camera in an error-state Kalman filter under the remote center of motion (RCM) of the trocar. Heading comes from the shaft silhouette, segmented by a U-Net, in place of the magnetometer: the rotation-angle error is 0.200°, against 3.58° from the accelerometer and magnetometer alone. Against a Franka Research 3 manipulator, and without alignment to it, the displacement error over 300 translation trials was 1.21mm RMS and the relative-rotation error over 180 rotation trials 0.34° RMS. On continuous trajectories, tracked and displayed in real time, the absolute tip error was 1.22mm (programmed) and 3.04mm (teleoperated) after post-hoc tuning of three filter parameters, and the full fusion beat every sensor subset. Because the estimator uses no magnetic measurement, its accuracy does not rely on an undisturbed field. The same clip-on device could thus record metric tip trajectories during routine hand-held laparoscopy, while displaying the insertion depth and attitude that are hidden once the instrument is inside the patient.

arXivで原文を読む →arXiv概要ページ

← 論文一覧