手術シーン予測/ガウススプラッティング2026/9/28arXiv:2609.34733

SurgGMF: 術野予測レンダリングのための完全因果ガウス運動予測

SurgGMF: Fully Causal Gaussian Motion Forecasting for Anticipatory Surgical Scene Rendering

手術シーンの将来状態を予測するため、過去のガウス運動場から位置・スケール・回転の残差を予測する完全因果的なフレームワークを提案し、EndoNeRFとStereoMISで評価した。

詳しい要約

1. どんなもの？

- 手術シーンの動的モデリングを目的とした SurgGMF を提案。 - 既存の neural rendering は観測フレームの再構成が中心で、未来のシーン状態予測は未対応。 - SurgGMF は fully causal な Gaussian motion forecasting フレームワークで、anticipatory surgical scene rendering を実現。 - 未来の RGB 画像を直接予測するのではなく、履歴の Gaussian motion field から未来の Gaussian motion state（position, scale, rotation の残差 X/S/R）を予測。 - target leakage を防ぐ full-causal-last rendering protocol を導入。 - 12 の EndoNeRF と StereoMIS の video slice で評価。

2. 先行研究と比べてどこがすごい？

- 既存の neural rendering 手法は deformable surgical scene の再構成・描画は可能だが、未来のシーン状態予測には主眼を置いていない。 - SurgGMF は観測フレームの再構成から予測的なシーンモデリングへと拡張。 - 未来の RGB 画像を直接予測するのではなく、Gaussian motion state を予測する点が異なる。 - 古典的 dynamics baseline と比較して、学習された Gaussian motion forecasting が render space で一貫して優位。 - 手作りの状態外挿を超える利得を示す。

3. 技術・手法の肝は？

- 履歴の Gaussian motion field から未来の Gaussian motion state（position, scale, rotation の残差 X/S/R）を予測。 - fully causal な枠組みで、未来の Gaussian state を予測。 - target leakage を防ぐ full-causal-last rendering protocol を導入。 - 未来の Gaussian state を target-frame の Gaussian attribute にアクセスせずに描画し、causal appearance propagation を保持。 - neural temporal learner（TKAN, GRU, LSTM など）と classical dynamics baseline を統一プロトコルで比較。

4. どうやって有効だと検証した？

- 12 の EndoNeRF と StereoMIS の video slice を使用。 - neural temporal learner と classical dynamics baseline を統一 forecasting protocol で評価。 - 学習された Gaussian motion forecasting が classical dynamics baseline より render space で一貫して優位。 - latency 分析により accuracy-efficiency trade-off を明示。 - 現実装では TKAN が最高精度、GRU と LSTM が module-level latency で有利。

5. 議論はある？

- 学習された Gaussian motion forecasting は古典的 dynamics baseline を render space で上回る。 - latency 分析から accuracy-efficiency trade-off が存在。 - 現実装では TKAN が最高精度だが、GRU と LSTM は module-level latency でより有利。 - SurgGMF は再現可能な causal Gaussian motion forecasting の枠組みを確立。 - 手術 Gaussian 表現を retrospective reconstruction から predictive scene modeling へ進展させる。 - 要旨からは、他の議論（限界や将来課題）は不明。

6. 次に読むべき論文は？

- EndoNeRF - StereoMIS - TKAN - GRU - LSTM - neural rendering 関連手法 - classical dynamics baseline

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingqian Sun, Yichao Tang

分類: cs.CV

原文アブストラクト

Dynamic surgical scene modeling is essential for robotic perception, simulation, and decision support. Although existing neural rendering methods enable efficient reconstruction and rendering of deformable surgical scenes, they remain primarily focused on observed-frame reconstruction rather than forecasting future scene states. To this end, we present SurgGMF, a fully causal Gaussian motion forecasting framework for anticipatory surgical scene rendering. Rather than predicting future RGB images directly, SurgGMF forecasts future Gaussian motion states represented by position, scale, and rotation residuals (X/S/R) from historical Gaussian motion fields. To prevent target leakage, we introduce a full-causal-last rendering protocol, where future Gaussian states are rendered without accessing target-frame Gaussian attributes while preserving causal appearance propagation. We evaluate SurgGMF on 12 EndoNeRF and StereoMIS video slices using neural temporal learners and classical dynamics baselines under a unified forecasting protocol. Learned Gaussian motion forecasting consistently outperforms classical dynamics baselines in render space, demonstrating gains beyond hand-crafted state extrapolation. Latency analysis further reveals an accuracy--efficiency trade-off: under the current implementations, TKAN achieves the highest accuracy, whereas GRU and LSTM provide more favorable module-level latency profiles. These results establish SurgGMF as a reproducible framework for causal Gaussian motion forecasting and advance surgical Gaussian representations from retrospective reconstruction toward predictive scene modeling.

arXivで原文を読む →arXiv概要ページ

← 論文一覧