日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
4D再構成arXiv:2611.02034

単眼内視鏡動画からの動的シーン4D三角形スプラッティング再構成

4D Triangle Splatting Reconstruction of Dynamic Endoscopic Scenes from Monocular Videos

シェア:XThreadsFacebookLINEはてブBluesky

単眼内視鏡動画から軟組織の変形を自己教師ありで4D再構成する三角形スプラッティング手法SurgicalTSを提案し、クォータニオン変形モデルなどで従来法を上回る精度と短い学習時間を実現した。

詳しい要約

1. どんなもの?

- 単眼内視鏡動画から変形する軟組織シーンを4D再構成する枠組み「SurgicalTS」を提案した研究。 - 静的単眼カメラ入力に対し、自己教師あり(self-supervised)で動的内視鏡シーンを再構成する。 - シーンはcanonicalなtriangle集合で表現し、deformation networkと同時最適化する。 - 対象はin-vivo内視鏡映像で、soft-tissue deformationやtool-tissue interactionの時間変化を扱う。

2. 先行研究と比べてどこがすごい?

- 非剛体組織変形、照明変化、occlusion、未知のcamera trajectoryという難条件に対処する点を課題設定としている。 - 多様な手技のin-vivo内視鏡映像での評価で、state-of-the-art手法を一貫して上回ったと報告。 - 幾何・光度精度を競合水準に保ちつつ、training timeを短縮できる点を利点として主張。 - 具体的な比較対象手法名は要旨からは不明。

3. 技術・手法の肝は?

- triangle-splattingによるシーン表現を採用し、canonicalなtriangle集合をdeformation networkと共に最適化。 - quaternion-based deformation modelを導入し、変形を物理整合的にモデル化する点が肝。 - 改良したcolor parametrizationを採用。 - spatio-temporal priorsを導入。 - occlusion下での完全性を高めるためinitialization strategyを再定義。 - 全体はself-supervisedな枠組みで学習する。

4. どうやって有効だと検証した?

- 多様な手技の難易度の高いin-vivo endoscopy videosを用いたextensive evaluationを実施。 - soft-tissue deformationとtool-tissue interactionの時間変化をモデル化できることを示した。 - state-of-the-art手法を一貫して上回る性能を報告。 - training timeの短縮と、競合水準のgeometric/photometric accuracyの維持を確認。 - 定量指標の詳細やデータセット名は要旨からは不明。

5. 議論はある?

- quaternion-based deformation modellingとphysical consistencyが、堅牢かつ効率的な4D再構成に有効であると結論。 - 可視化、診断精度、低侵襲手技のintraoperative guidanceへの貢献可能性に言及。 - 限界や失敗事例、計算コストの詳細な議論は要旨からは不明。 - 比較対象の具体的なstate-of-the-art名や評価指標の内訳は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的なstate-of-the-art手法名は不明。 - 関連手法として、endoscopic scene reconstructionにおけるNeRF系および3D Gaussian Splatting系の動的再構成研究を挙げるのが妥当。 - deformation networkやquaternion-based deformation modellingに関する研究。 - triangle-splattingやsurface-based splatting表現に関する研究。 - in-vivo endoscopyの4D再構成データセットおよびbenchmarkに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Laura Salort-Benejam, Stamatia Giannarou, Antonio Agudo

分類: cs.CV, cs.RO

原文アブストラクト

Robust 4D reconstruction of deformable endoscopic scenes from monocular videos remains challenging due to non-rigid tissue deformation, illumination changes, occlusions, and unknown camera trajectories. Reliable dynamic reconstruction of endoscopies could significantly enhance visualization, diagnostic accuracy and intraoperative guidance of minimally invasive procedures. We propose SurgicalTS, a self-supervised triangle-splatting framework for dynamic endoscopic scene reconstruction from static monocular cameras. The scene is represented by a canonical set of triangles jointly optimized with a deformation network. We introduce a quaternion-based deformation model, an improved color parametrization, spatio-temporal priors, and a redefined initialization strategy that improves completeness under occlusions. Extensive evaluation on challenging in-vivo endoscopy videos from diverse procedures shows that SurgicalTS successfully models soft-tissue deformations and tool-tissue interactions over time, while consistently outperforming state-of-the-art methods. Our method also reduces training times while maintaining competitive geometric and photometric accuracy results, highlighting the effectiveness of quaternion-based deformation modelling with physical consistency for robust and efficient 4D reconstruction of endoscopic scenes.

関連論文

PR本紙発行元 EmplifAI