医療ロボティクス2026/10/1arXiv:2610.02343

SCOPE-4D: 内視鏡4D幾何学基盤モデル

SCOPE-4D: Endoscopic 4D Geometry Foundation Models

単眼RGB動画からカメラパラメータ・密な形状・3D組織軌跡を一度に予測する内視鏡4D幾何学基盤モデルを提案し、大規模データセットSCOPE-5Kで学習することで高精度な形状推定と3D追跡を実現した。

詳しい要約

1. どんなもの？

- 内視鏡の4D幾何基盤モデルSCOPE-4Dを提案。 - 単眼RGB動画からカメラパラメータ、密な幾何、3D組織軌跡を1回のforward passで同時予測。 - 約5,000クリップのSCOPE-5Kを構築し、実・合成の消化器内視鏡と腹腔鏡を含む。 - 新規phantomとreal-colonoscopy評価セットも含む。

2. 先行研究と比べてどこがすごい？

- 従来は幾何アノテーション不足とカメラ運動・組織変形の曖昧性が課題。 - SCOPE-5Kの大規模幾何監督により内視鏡priorを学習し、カメラ・深度推定を改善。 - CRMと軌跡監督を併用し、幾何微調整単独よりカメラ・深度推定を向上。 - 密な3D組織追跡を可能にし、公開・新規ベンチマークでin-domain/out-of-domain幾何、3D追跡、長系列大腸再構成の安定性で優位。

3. 技術・手法の肝は？

- SCOPE-4Dは単一forwardでカメラパラメータ、密な幾何、3D組織軌跡を予測。 - SCOPE-5Kのキュレーション・アノテーションパイプラインで豊富な幾何監督を提供。 - 幾何 supervised fine-tuningで内視鏡priorを学習。 - Common-Residual Motion (CRM)が共通組織運動に対する局所変形を制約。 - 幾何監督、CRM、軌跡監督を組み合わせ。

4. どうやって有効だと検証した？

- 公開ベンチマークと新規収集ベンチマークで評価。 - in-domain/out-of-domain幾何、3D追跡、長系列大腸再構成の安定性を検証。 - 盲検ユーザスタディで実臨床ビデオの再構成品質を支持。 - 幾何微調整単独との比較でCRMと軌跡監督の追加効果を確認。

5. 議論はある？

- 大規模内視鏡監督と運動制約が幾何推定と組織追跡に有効と示唆。 - 限界や失敗例、計算コスト、一般化の範囲は要旨からは不明。 - 臨床応用への課題や倫理的考慮は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番としてendoscopic depth estimation、SLAM、non-rigid structure from motion、tissue trackingの関連論文を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chaoyi Zhou, Zhongpai Gao, Anwesa Choudhuri, Meng Zheng, Benjamin Planche, Run Wang, Terrence Chen, Siyu Huang, Ziyan Wu

分類: cs.CV

原文アブストラクト

Geometric understanding supports endoscopic navigation and robotic assistance, but learning reliable endoscopic geometry faces two challenges: scarce geometric annotations and ambiguity between camera motion and tissue deformation. We present SCOPE-4D, an endoscopic 4D geometry foundation model that jointly predicts camera parameters, dense geometry, and 3D tissue trajectories from monocular RGB video in a single forward pass. Our curation and annotation pipeline constructs SCOPE-5K, a collection of approximately 5,000 clips spanning real and synthetic gastrointestinal endoscopy and laparoscopy. The collection provides rich geometric supervision and includes newly collected phantom and real-colonoscopy evaluation sets. Geometric supervised fine-tuning on SCOPE-5K learns endoscopic priors that improve camera and depth estimation. Common--Residual Motion (CRM) further constrains local deformation relative to common tissue movement. Together with geometric supervision, CRM and trajectory supervision further improve camera and depth estimation over geometric fine-tuning alone while enabling dense 3D tissue tracking. Evaluations on public and newly collected benchmarks demonstrate strong in-domain and out-of-domain geometry, superior 3D tracking, and more stable long-sequence colon reconstruction. A blinded user study further supports the perceived reconstruction quality on real clinical video. Together, these results demonstrate the value of large-scale endoscopic supervision and motion constraints for joint geometry estimation and tissue tracking.

arXivで原文を読む →arXiv概要ページ