HappyWorld-Bench：世界モデルの信頼性を評価する総合ベンチマーク

- 世界モデルを評価するためのベンチマーク「HappyWorld-Bench」を提案。 - 生成された世界の品質だけでなく、エージェントの探索・相互作用・修正に対する一貫性と応答性を評価。 - 6つの世界能力（W1-W6）からなる階層的フレームワークに基づき、video world models、spatial world models、embodied world modelsの3トラックで構成。 - 1,138のvideo prompts、300のspatial scenes、254のembodied test casesを含む。 - 人間によるA/B比較を行うHappyWorld-Arenaを構築し、モデルレベルのEloレーティングを導出。 - 新たに設計した自動メトリクスで行動的正しさを捕捉。 - 14のvideo world models、9のspatial systems、8のembodied candidatesを評価。

- 従来の世界モデル評価は視覚的品質に偏りがちだったが、本ベンチマークは状態の一貫性や行動・介入への応答の正しさを重視。 - 階層的能力フレームワーク（W1-W6）と3つの独立した評価トラックを統合し、包括的に評価。 - 人間によるA/B比較と自動メトリクスを組み合わせ、モデルレベルのEloレーティングを算出する点が新しい。 - 大規模なデータセット（1,138 video prompts、300 spatial scenes、254 embodied test cases）を構築。

- 6つの世界能力（W1-W6）からなる階層的フレームワークを設計。 - 3つの評価トラック：video world models、spatial world models、embodied world models。 - HappyWorld-Arenaを構築し、人間のA/B比較を組織化してEloレーティングを導出。 - 行動的正しさを捉える新規自動メトリクスを設計。 - 14のvideo world models、9のspatial systems、8のembodied candidatesを統一フレームワークで評価。

- HappyWorld-Benchを用いて14のvideo world models、9のspatial systems、8のembodied candidatesを評価。 - 結果、video modelsは拡張ロールアウトや再訪時に一貫性が低下。 - spatial modelsは最大70.14%の配置精度と73.33%の編集実行率。 - embodied modelsは多段階行動での状態保持や、変更された行動条件・物理規則への正確な応答に苦戦。 - これらの結果から、視覚的品質だけでなく状態一貫性と行動・介入への応答の正しさを評価する必要性を強調。

- 3トラックすべてで信頼性のギャップが残ることを明示。 - video modelsの一貫性低下、spatial modelsの配置・編集精度の限界、embodied modelsの状態保持と応答精度の問題を指摘。 - 世界モデル評価において、視覚的品質だけでなく状態一貫性と行動・介入への応答の正しさを評価することの重要性を議論。

- 要旨からは不明（参照・比較されている研究が明記されていないため）。 - 同分野の定番として、world models、video prediction、spatial reasoning、embodied AIに関する既存ベンチマーク（例：World Models, Dreamer, Habitat, AI2-THORなど）が関連する可能性がある。