動的3D再構成2026/9/29arXiv:2609.36940

DispFlow-GS: 単眼動的3Dガウシアンスプラッティングのための変位フロー監督と運動分離

DispFlow-GS: Displacement Flow Supervision with Motion Disentangling for Monocular Deformable 3D Gaussian Splatting

動的3DGSにおいて、ガウシアンフローとオプティカルフローのギャップを解消する変位フロー監督と、カメラ運動と物体運動を分離する手法を提案し、運動の忠実度を評価する新指標DRCを導入した。

詳しい要約

1. どんなもの？

- 単眼動画から動的3Dシーンを再構成する手法。 - Deformable 3D Gaussian Splatting (3DGS) を基盤とする。 - 変形場で動きを表現し、motion supervision を改善する。 - Displacement Flow と motion disentangling を導入。 - 新指標 Deformation-Rendering Consistency (DRC) を提案。

2. 先行研究と比べてどこがすごい？

- 従来は rendered Gaussian flow と optical flow を整合させる監督。 - しかしそれでは motion modeling の改善が限定的と指摘。 - 原因は rendered Gaussian flow と optical flow の domain gap。 - 提案法は Displacement Flow で直接かつ安定な最適化信号を与える。 - 中間視点レンダリングで scene motion と camera motion を分離。 - 結果、motion localization 最大39%、motion-rendering consistency 6%改善。

3. 技術・手法の肝は？

- 各 Gaussian の 3D displacement を画像平面に splat し Displacement Flow を生成。 - これを監督信号として変形場を最適化。 - intermediate-view rendering により scene motion と camera motion を disentangle。 - 変形と幾何に的を絞った制約を与える。 - 予測変形とレンダリング改善の整合を測る DRC を導入。

4. どうやって有効だと検証した？

- dynamic scene benchmarks で実験。 - motion localization が最大39%改善。 - motion-rendering consistency が6%改善。 - 一方 image-based metrics は約0.1%しか変化せず。 - これにより motion fidelity と image-based evaluation の不一致を確認。 - DRC の motion-aware evaluation としての重要性を示す。

5. 議論はある？

- motion fidelity と image-based evaluation に乖離があると指摘。 - motion awareness の改善が必ずしも画質や image-based metric 向上に結びつかない。 - この不一致が DRC 導入の動機。 - DRC が motion-aware evaluation に重要と主張。 - ただし限界や今後の課題は要旨からは不明。

6. 次に読むべき論文は？

- Deformable 3D Gaussian Splatting (3DGS) の関連研究。 - rendered Gaussian flow と optical flow を整合させる従来の motion supervision 手法。 - 動的シーン再構成のベンチマーク研究。 - 要旨で具体的な論文名は参照されていないため、同分野の定番として Deformable 3DGS や dynamic scene reconstruction の研究を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Thai Duy Nguyen, Haitian Zhang, Addison Lin Wang

分類: cs.CV

原文アブストラクト

Accurate dynamic scene reconstruction is important for robotic perception, where temporally consistent representations of dynamic environments are essential. Deformable 3D Gaussian Splatting (3DGS) models dynamic scenes through deformation fields, and recent methods incorporate motion supervision by aligning rendered Gaussian flow with optical flow. However, we find that such Gaussian-flow-based supervision provides only limited improvements in motion modeling. We identify a fundamental limitation of this supervision paradigm, namely a domain gap between rendered Gaussian flow and optical flow. To address this limitation, we propose a motion supervision framework built on Displacement Flow, which splats per-Gaussian 3D displacements onto the image plane to provide direct and stable optimization signals. We further disentangle scene motion from camera motion via intermediate-view rendering, enabling more reliable motion priors and targeted constraints on deformation and geometry. We also observe a discrepancy between motion fidelity and image-based evaluation, where improved motion awareness does not necessarily translate into better rendered image quality or higher image-based metric scores. Motivated by this mismatch, we introduce Deformation-Rendering Consistency (DRC), a motion-aware metric that measures the alignment between predicted deformation and rendering improvement. Experiments on dynamic scene benchmarks show substantial improvements in motion localization and motion--rendering consistency, reaching up to 39% and 6%, respectively, while image-based metrics change by only about 0.1%. These results confirm the observed mismatch between motion fidelity and image-based evaluation, demonstrating the significance of DRC for motion-aware evaluation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧