シミュレータ評価2026/8/10arXiv:2608.09298v1

WorldSimProbe: 身体的操作のための行動条件付きワールドモデルにおけるシミュレータ忠実度の診断

WorldSimProbe: Diagnosing Simulator Faithfulness in Action-Conditioned World Models for Embodied Manipulation

行動条件付きワールドモデル（ACWM）が物理シミュレータとして忠実に機能するかを検証するための評価手法WorldSimProbeを提案し、複数のベンチマークで既存モデルの系統的な欠陥を明らかにした。

詳しい要約

1. どんなもの？

Action-conditioned world models (ACWMs)のシミュレータとしての忠実性を診断するためのフレームワークWorldSimProbeを提案した論文。ACWMsが物理シミュレータとして期待される能力（行動に応じたエージェントの動作、その動作に基づく環境応答）を満たすかを検証する。Observable Simulator Contractを定義し、5つの制御されたテストスイート（局所制御感度、大域軌道変動、多様な行動源、相互作用の接地、ダイナミクス）とスイート固有の評価指標を導入。6つのオープンソースACWMsをRoboTwin、ManiSkill、LIBERO上で18,000以上のインスタンスで評価した。

2. 先行研究と比べてどこがすごい？

従来の評価は視覚品質、タスク成功率、粗いロールアウトレベルの応答性に焦点を当て、シミュレータの忠実性を直接テストしていなかった。本研究は、物理シミュレータが満たすべき最小限の契約（Observable Simulator Contract）を形式化し、行動と環境応答の因果関係を直接検証する点が新しい。また、人間の判断や下流タスクの結果と整合するベンチマーク信号を提供する。

3. 技術・手法の肝は？

Observable Simulator Contractを定義し、供給された行動が対応するエージェントの動きを引き起こし、環境応答がその実現された動きに基づくことを要求。WorldSimProbeは5つのスイートから構成され、各スイートは特定の能力を評価する。評価指標には、シミュレータ相対キャリブレーション、密な行動-動作対応、誤った相互作用の接地、プリミティブレベルのダイナミクスが含まれる。

4. どうやって有効だと検証した？

6つのオープンソースACWMsをRoboTwin、ManiSkill、LIBEROの3つのベンチマークで評価。18,000以上のインスタンスを使用し、制御変動に対する系統的な行動実現の劣化、相互作用の接地とダイナミクスにおける構造的失敗を明らかにした。また、ベンチマーク信号が人間の判断や下流タスクの結果と一致することを示した。

5. 議論はある？

要旨からは、提案フレームワークが粗いタスク指向評価を超えた透明で標準化された診断を提供する一方で、評価対象のACWMsがすべて失敗する可能性や、契約の最小性に関する議論は不明。また、評価が特定のベンチマークに依存するため、一般化にはさらなる検証が必要かもしれない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、RoboTwin、ManiSkill、LIBEROの各ベンチマークに関する論文や、Action-conditioned world modelsの代表的な手法（例：Dreamer、IRISなど）が挙げられる。具体的な論文名は要旨に明記されていないため、同分野の定番であるWorld Models関連の論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peterson Co, Sicheng Hu, Chunxuan Jiao, Hongyang Cheng, Yulin Luo, Yijie Xu, Sixiang Chen, Zhongxia Zhao, Zihao Wang, DaFeng Chi, Peidong Liu, YuTong Chen, Henghua Liu, Zhihao Yuan, Huizhu Jia, Yuzheng Zhuang, Tianle Zhang, Liang Lin, Huajie Tan, Shanghang Zhang

分類: cs.RO, cs.AI

原文アブストラクト

Action-conditioned world models (ACWMs) promise to provide embodied AI with scalable predictive simulators for planning, policy evaluation, and data generation. Realizing this promise requires precise action-conditioned transitions rather than merely plausible outputs. Yet their applicability remains difficult to establish because prevailing evaluations emphasize visual quality, task outcomes, or coarse rollout-level responsiveness without directly testing simulator fidelity. To address this gap, we evaluate ACWMs through the observable capabilities expected of physical simulators. Accordingly, we formalize Observable Simulator Contract, a minimal contract that any action-conditioned physical simulator should satisfy: supplied actions must induce corresponding agent motion, and environment responses must be grounded in that realized motion. To operationalize this contract, we introduce WorldSimProbe, comprising five controlled suites spanning local control sensitivity, global trajectory variation, source-diverse actions, interaction grounding, and dynamics. Suite-specific evaluators assess simulator-relative calibration, dense action-to-motion correspondence, false-interaction grounding, and primitive-level dynamics. We evaluate six open-source ACWMs on more than 18,000 instances across RoboTwin, ManiSkill, and LIBERO. World-SimProbe reveals systematic action-realization degradation across control variation, structured failures in interaction grounding and dynamics, and benchmark signals consistent with human judgments and downstream outcomes. Together, this capability-based framework provides a transparent, and standardized paradigm for diagnosing ACWM simulator fidelity beyond coarse, task-directed evaluation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧