XM4D：証明可能な幾何最適化による4D再構成

- 本論文は XM4D とよばれる 4D reconstruction のフレームワークを提案する。 - camera motion、scene geometry、non-rigid deformation を同時推定する 4D reconstruction を対象とする。 - 推定を camera motion と non-rigid deformation の二段階に分離する構成をとる。 - 各段階を structured QCQP として定式化し、SDP relaxation と global optimality certificate を与える。 - 得られた geometry を dynamic Gaussian splatting の初期化に用いて photometric refinement を行う。

- 従来の 4D reconstruction は camera motion・geometry・non-rigid deformation の同時推定が highly nonconvex optimization となり、global optimality の保証が難しかった。 - 本研究は両段階を QCQP に帰着し、SDP relaxation と verifiable global optimality certificates を与える点を特徴とする。 - camera motion 推定では foundational depth prediction models を利用して static point tracks を 3D に持ち上げる。 - GPU 加速の Burer-Monteiro solver により数千フレーム規模へスケールする効率的最適化を実現する。 - 具体的な先行手法名との定量的比較は要旨からは不明。

- camera motion 推定では static point tracks を foundational depth prediction models で 3D 化し、camera poses・depth scales・static landmarks を同時推定する scaled bundle adjustment を定式化する。 - translations と landmarks を解析的に消去し、scaled rotations 上の QCQP に縮約する。 - non-rigid reconstruction では embedded deformation graph (EDG) で dynamic motion を表現する。 - tracking・rigidity・temporal regularization の各目的関数が rotation-only QCQP に帰着することを示す。 - 両問題の SDP relaxation を GPU 加速の Burer-Monteiro solver (Riemannian optimization ベース) で効…

- 7 つの benchmarks での実験を実施したと述べられている。 - static および dynamic scenes の両方で accurate な camera motion estimation を確認。 - 数千フレーム規模にスケールする効率的な最適化を確認。 - state-of-the-art な novel-view rendering quality を確認。 - 各 benchmark の名称や具体的な評価指標・比較手法は要旨からは不明。

- 要旨からは不明。 - global optimality certificate の実用上の tightness や計算コストへの言及は要旨にはない。 - SDP relaxation が厳密解を与えない場合の挙動や、dynamic 成分が多い場面での限界は要旨からは不明。 - foundational depth prediction models への依存度や誤差影響も要旨からは不明。

- scaled bundle adjustment および rotation-only QCQP の基盤となる bundle adjustment 関連研究。 - SDP relaxation と global optimality certificate を用いる certifiable geometric optimization の研究。 - Burer-Monteiro solver と Riemannian optimization に関する最適化研究。 - embedded deformation graph (EDG) を用いた non-rigid reconstruction の研究。 - dynamic Gaussian splatting および novel-view rendering の研究。 - foundational depth prediction models に関する研究。