日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
姿勢推定arXiv:2609.30989

PICO: 投影情報を活用した整合性最適化による6DoF手術器具姿勢推定

PICO: Projection-Informed Consistency Optimisation for 6DoF Surgical Tool Pose Estimation

シェア:XThreadsFacebookLINEはてブBluesky

セグメンテーションと深度推定をマルチタスク学習し、2D/3Dの幾何学的整合性を課す代理タスクで手術器具の6DoF姿勢を高精度かつロバストに推定する手法を提案。

詳しい要約

1. どんなもの？

- 手術器具の6DoF pose estimationを目的とした研究 - ケーブル駆動型ロボットアームのkinematics-based手法は誤差蓄積、vision-based手法は外部マーカーやトラッカー依存、2段階手法はリアルタイム性に欠ける - 提案手法PICOはend-to-end学習可能なモデルで、segmentationとdepth mapの予測とtranslation/rotationパラメータの回帰をmulti-task learningで同時に行う - 2Dと3D空間の幾何学的整合性を強制する2つのproxy task（projection lossとpoint-to-point loss）を導入 - SurgRIPE datasetで評価し、4つのサブセットで一貫した性能、特に回転で2位、遮蔽時も競争力のある並進性能を示す

2. 先行研究と比べてどこがすごい？

- 従来のkinematics-based手法はケーブル駆動による誤差蓄積が問題 - vision-based手法は外部マーカーやトラッカーに依存し、2段階pose estimationは誤差蓄積と計算オーバーヘッドでリアルタイム堅牢性に欠ける - PICOはend-to-end学習可能で、multi-task learningと幾何学的整合性を強制するproxy taskにより、精度と堅牢性を向上 - 特に遮蔽シナリオでの性能が向上し、state-of-the-artと比較して回転で2位、並進でも競争力がある

3. 技術・手法の肝は？

- end-to-end trainableなモデルPICOを提案 - multi-task learning architectureを採用し、segmentationとdepth mapの予測、translationとrotationパラメータの回帰を同時に学習 - 2Dおよび3D空間での幾何学的整合性を強制する2つのproxy taskを定義 - 具体的にはprojection lossとpoint-to-point lossを提案 - これらにより精度と堅牢性を改善

4. どうやって有効だと検証した？

- SurgRIPE dataset上で評価 - 標準的な6DoF pose estimation metricsを用いてstate-of-the-art手法と比較 - 4つのサブセットすべてで一貫して強い性能を発揮 - 特に回転においては遮蔽下でも2位の性能 - 並進性能も同等で、特に遮蔽ケースで競争力がある

5. 議論はある？

- PICOはmulti-task learningとgeometry-aware proxy taskの有効性を示す - 特に遮蔽シナリオでの堅牢で信頼性の高い手術器具pose estimationに貢献 - 将来の応用可能性を強調 - ただし、具体的な限界や議論の詳細は要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：kinematics-based approaches, vision-based methods, two-stage pose estimation methods, state-of-the-art approaches - 関連手法：SurgRIPE datasetを用いた6DoF pose estimationの研究 - 同分野の定番：surgical tool pose estimation, multi-task learning, geometry-aware proxy tasks

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lucy Fothergill, Pietro Valdastri, Dominic Jones, Duygu Sarikaya

分類: cs.CV

原文アブストラクト

Purpose: Accurate 6 DoF pose estimation of surgical tools is critical for automa- tion, robotic proprioception, and safe interaction with the tissue operated on. Kinematics-based approaches suffer from accumulated errors due to the cable- driven nature of robotic arms, while vision-based methods often rely on external markers or trackers. Although more recent vision-based advances have been pro- posed, these two-stage pose estimation methods often lack real-time robustness due to accumulated errors and computational overhead. Methods: We propose a novel end-to-end trainable model, PICO. Our model employs a multi-task learning architecture to predict segmentation and depth maps, alongside regression of translation and rotation parameters. We define two proxy tasks that enforce geometric consistency in both 2D and 3D spaces, improving accuracy and robustness. For this, we propose a projection loss, and a point-to-point loss. Results: We evaluate our method on the SurgRIPE dataset, benchmarking its performance against state-of-the-art approaches using standard 6DoF pose esti- mation metrics. Our results demonstrate consistently strong performance across all four subsets, specifically in rotation, ranking second even under occlusion. It also demonstrates comparable translational performance, remaining competitive, especially in occluded cases. Conclusion: PICO demonstrates the effectiveness of multi-task learning and geometry-aware proxy tasks for robust and reliable surgical tool pose estimation, especially in occluded scenarios, highlighting potential for future applications.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI