日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
世界モデルarXiv:2610.12468

DreamTrue: 反事後学習による行動忠実なロボット世界モデル

DreamTrue: Action-Faithful Robot World Model with Counterfactual Post-Training

シェア:XThreadsFacebookLINEはてブBluesky

多視点・異形態ロボット向けの世界モデルで、行動軌跡を画像空間条件に変換し幾何キャリブレーションで整合させ、反事実的事後学習と報酬モデルで物理的に妥当な動画予測を実現した。

詳しい要約

1. どんなもの?

- 複数視点・cross-embodiment の robot world model『DreamTrue』 - 入力の action に忠実で物理的に妥当な video prediction を生成 - 既存 robot dataset での学習には2つの障害 - 不正確な calibration が action following を損なう - 失敗 interaction の網羅性不足が成功側へ予測を偏らせる - AgiBot で state-of-the-art の action following を達成 - 人間評価の interaction defect rate を 48.12% から 6.25% に低減 - AgiBot World Challenge 2026 の world model track で1位

2. 先行研究と比べてどこがすごい?

- 既存 robot dataset 学習の2障害を明示的に扱う点が新しい - imprecise calibration による action following の劣化 - 失敗 interaction の coverage 不足による成功バイアス - action trajectory を image-space condition に render し、offline geometric calibration で target video と整合 - counterfactual post-training で action と contact の範囲を拡張 - 失敗 future の ground-truth が無い状況で、human-annotated video dataset から embodied video reward model を学習 - その score で reinforcement-learning post-training を誘導 - 結果として AgiBot で state-of-the-art の action following と…

3. 技術・手法の肝は?

- multi-view・cross-embodiment の robot world model - action trajectory を image-space condition として render - offline geometric calibration で condition と target video を align - counterfactual post-training - 記録済み action trajectory を改変 - より広い action・contact configuration で future video を生成 - embodied video reward model - robot・object・interaction の defect をカバーする human-annotated video dataset で学習 - paired ground-truth future 無しで prediction に feedback - reward score を guide に reinforcement-lear…

4. どうやって有効だと検証した?

- AgiBot 上で評価 - state-of-the-art の action following を達成 - 人間評価による interaction defect rate を 48.12% から 6.25% へ低減 - AgiBot World Challenge 2026 の world model track で1位 - 具体的な評価指標・ベースライン・データセット規模は要旨からは不明

5. 議論はある?

- 既存 robot dataset の calibration 不正確さと失敗 interaction の coverage 不足を課題として提示 - counterfactual post-training により action・contact の範囲を広げる必要性を議論 - paired ground-truth future が無い予測への feedback 手段として embodied video reward model を提案 - 限界・失敗事例・計算コスト・汎化範囲の詳細は要旨からは不明

6. 次に読むべき論文は?

- AgiBot World Challenge 2026 の world model track 関連研究 - AgiBot を用いた robot world model 研究 - cross-embodiment な video prediction 研究 - counterfactual post-training を用いる robot learning 研究 - embodied video reward model に関する研究 - reinforcement-learning post-training による video generation 研究 - 要旨で参照・比較されている個別論文名は明示されていない

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junyan Li, Ruizhi Li, Yu Liu, Xiangshuo Liu, Mingchao Sun, Hongyu Pan, Mu Xu, Lue Fan, Zhaoxiang Zhang

分類: cs.RO, cs.CV

原文アブストラクト

We present DreamTrue, a multi-view, cross-embodiment robot world model for action-faithful and physically plausible video prediction. Training such a model on existing robot datasets faces two obstacles: imprecise calibration can impair action following, while limited coverage of unsuccessful interactions can bias predictions toward successful outcomes. To improve action following across embodiments, we render action trajectories into image-space conditions and introduce offline geometric calibration to align these conditions with the target videos. To broaden interaction coverage, we introduce counterfactual post-training, modifying recorded action trajectories and generating future videos under a wider range of actions and contact configurations. To provide feedback on these predictions without paired ground-truth futures, we construct a human-annotated video dataset covering robot, object, and interaction defects and use it to train an embodied video reward model. Its scores guide reinforcement-learning post-training toward more physically plausible interaction outcomes. On AgiBot, DreamTrue attains state-of-the-art action following, while reducing the human-assessed interaction defect rate from from 48.12% to 6.25%. Notably, our model ranks first in the world model track of the AgiBot World Challenge 2026. The project page can be found at https://brave-eai.github.io/DreamTrue.

関連論文

PR本紙発行元 EmplifAI