評価ベンチマーク2026/9/10arXiv:2609.11172

視覚品質を超えて：自己運動下の物理的整合性を評価するEgoGenEval

Beyond Visual Quality: Evaluating Physical Consistency under Ego-Motion with EgoGenEval

自己運動下での視覚生成モデルの物理的整合性を評価するポーズ不要のベンチマークEgoGenEvalを提案し、16モデルの評価とSFT実験からペアワイズ教師強制目的の限界を示した。

詳しい要約

1. どんなもの？

- 視覚生成器の物理的一貫性を ego-motion 下で評価する benchmark『EgoGenEval』を提案 - geometry-grounded かつ pose-free な設計 - 1,400 cases・2,360 target views を含み、single-step と multi-step の ego-motion を対象 - Camera Motion Grounding (CMG) と Scene State Preservation (SSP) を別々に測定 - 16 の pose-free 生成器と 2 の pose-conditioned 参照を評価 - 同じ pipeline から EgoGen-Train を構築し SFT 研究も実施

2. 先行研究と比べてどこがすごい？

- 既存 benchmark は isolated images や single-step quality に偏り、ego-motion 下の物理的一貫性は未探索 - EgoGenEval は geometry-grounded で pose-free に CMG と SSP を分離評価 - 両指標を blinded human judgments で検証 - 16 の pose-free 生成器と 2 の pose-conditioned 参照を比較し、現行モデルが camera motion 実行と scene state 維持を両立できないことを示す - 既存研究が扱わなかった『両軸同時性能』の欠如を定量的に明示

3. 技術・手法の肝は？

- geometry-grounded な pipeline で EgoGenEval と EgoGen-Train を構築 - pose-free 設定で single-step / multi-step ego-motion を評価 - CMG と SSP を分離して測定 - 指標は blinded human judgments と照合して妥当性確認 - EgoGen-Train を用いた controlled SFT 研究を実施 - pairwise supervision の限界を検証し、trajectory-centric paradigm を提案 - self-conditioned rollouts と explicit pose / visibility supervision を組み合わせる方向性を示す

4. どうやって有効だと検証した？

- EgoGenEval の CMG と SSP を blinded human judgments に対して検証 - 16 の pose-free 生成器と 2 の pose-conditioned 参照を評価 - EgoGen-Train から controlled SFT 研究を実施 - full training pool と longest budget でも scene preservation の改善が camera motion の一部に留まることを確認 - pairwise teacher-forced objective 自体が binding constraint であると結論

5. 議論はある？

- 現行モデルは camera motion 実行と scene state 維持を同時に達成できない - pairwise supervision は CMG と SSP を信頼性高く同時改善しない - full training pool と longest budget でも SSP の gain は CMG の一部 - pairwise teacher-forced objective が制約である可能性を指摘 - trajectory-centric paradigm の必要性を議論 - 具体的な限界や反論の詳細は要旨からは不明

6. 次に読むべき論文は？

- EgoGenEval と EgoGen-Train の元となった geometry-grounded pipeline 関連研究 - pose-conditioned references として比較された 2 手法 - pairwise teacher-forced objective を用いる既存 SFT 研究 - trajectory-centric paradigm を扱う関連研究 - self-conditioned rollouts や explicit pose / visibility supervision を用いる手法 - 同分野の定番として visual generation の physical consistency benchmark 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yilin Long, Chenming Zhu, Zitang Gou, Jingli Lin, Tai Wang

分類: cs.CV, cs.AI

原文アブストラクト

Recent visual generators produce high-fidelity images yet often violate physical consistency under ego-motion, limiting their use for spatial reasoning and embodied planning. Existing benchmarks largely focus on isolated images or single-step quality, leaving this challenge underexplored. We introduce EgoGenEval, a geometry-grounded, pose-free benchmark designed to evaluate the physical consistency of visual generators under ego-motion, and organize our study into two parts. (1) EgoGenEval contains 1,400 cases and 2,360 target views spanning single-step and multi-step ego-motion. It separately measures Camera Motion Grounding (CMG) and Scene State Preservation (SSP), with both metrics validated against blinded human judgments. Evaluating 16 pose-free generators together with two pose-conditioned references reveals that current models struggle to execute camera motion while maintaining scene state, and that no system performs well on both axes at once. (2) To examine whether benchmark-derived data can improve these capabilities, we build EgoGen-Train from the same geometry-grounded pipeline and run controlled SFT studies. These show that pairwise supervision does not reliably improve camera-motion grounding and scene-state preservation together: even at the full training pool and the longest budget, scene preservation gains a fraction of what camera motion does. This points to the pairwise teacher-forced objective itself as the binding constraint, motivating a trajectory-centric paradigm that couples self-conditioned rollouts with explicit pose and visibility supervision.

arXivで原文を読む →arXiv概要ページ