モデルベース制御/ワールドモデル2026/9/24arXiv:2609.30264

行動識別型ワールドモデルによる反事実モデル予測制御

AD-WM: Action-Discriminative World Models for Counterfactual Model Predictive Control

計画時に候補行動を区別できるよう、逆動力学と行動復元正則化を組み込んだワールドモデルAD-WMを提案し、MPCの成功率と実機ゼロショット転移を改善した。

詳しい要約

1. どんなもの？

本論文は、model predictive control (MPC) のための action-discriminative な joint-embedding world model「AD-WM」を提案する。 - 従来の latent world model は factual transition の予測に最適化され、同一状態からの代替行動の比較が苦手。 - AD-WM は residual latent dynamics と predictor-level action-recovery regularization を組み合わせ、planning 時に行動情報を保持する。 - テスト時には補助ヘッドを捨て、MPC 自体は変更しない。

2. 先行研究と比べてどこがすごい？

factual prediction error を下げるだけの従来 world model と比べ、counterfactual な行動選択に必要な action-dependent な差異を保持する点が新しい。 - OGBench-Cube の hard-start success を matched LeWM baseline の 3.7% から 52.0% へ改善。 - 5つの simulation 環境中4つで reproduced baseline の mean success を上回る。 - frozen V-JEPA 2 encoder と matched DROID post-training を用い、Franka への zero-shot transfer で basic pick-and-place success を 42.2% から 71.1% へ改善。

3. 技術・手法の肝は？

AD-WM は action-discriminative な joint-embedding world model。 - residual latent dynamics を採用。 - predictor-level action-recovery regularization を導入。 - inverse dynamics と、conditional mutual information に動機づけられた normalized recovery objective を使用。 - 両目的が planning transition に行動情報を保持させる。 - 補助ヘッドはテスト時に破棄され、MPC は変更されない。

4. どうやって有効だと検証した？

OGBench-Cube と5つの simulation 環境で評価。 - hard-start success が matched LeWM baseline の 3.7% から 52.0% へ向上。 - 5環境中4つで reproduced baseline の mean success を改善。 - planning diagnostics により、factual prediction error と whole-bank action ranking は closed-loop success の順序に従わない一方、CEM-aligned elite regret は success とより密接に追従することを示す。 - frozen V-JEPA 2 encoder と matched DROID post-training で Franka への zero-shot transfer を検証し、basic pick-and-place success が 42.2% から 71.1% へ向上。

5. 議論はある？

planning のための world model は、factual prediction accuracy のみを最適化するのではなく、counterfactual selection に必要な action-dependent differences を保持すべきだと主張。 - factual prediction error や whole-bank action ranking が closed-loop success と一致しない点を診断結果として議論。 - CEM-aligned elite regret が success とより相関することを示す。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照・比較されている研究として、LeWM baseline、V-JEPA 2 encoder、DROID post-training、OGBench-Cube が挙げられる。 - 関連手法として inverse dynamics、conditional mutual information、CEM を用いた MPC が言及されている。 - 同分野の定番として latent world models、model-based reinforcement learning、visual representation learning も次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiabin Qiu, Zixuan Chen, Hongye Cao, Jieqi Shi, Jing Huo, Yang Gao

分類: cs.AI, cs.RO

原文アブストラクト

Latent world models are typically trained to predict factual transitions, whereas model predictive control (MPC) must compare alternative actions from the same state. A model can therefore achieve low factual prediction error yet poorly distinguish candidate actions. We introduce AD-WM, an action-discriminative joint-embedding world model for counterfactual MPC. AD-WM combines residual latent dynamics with predictor-level action-recovery regularization, using inverse dynamics and a normalized recovery objective motivated by conditional mutual information. Both objectives encourage planning transitions to preserve action information; their auxiliary heads are discarded at test time, leaving MPC unchanged. On OGBench-Cube, AD-WM improves hard-start success from 3.7% to 52.0% over a matched LeWM baseline and improves mean success over the reproduced baseline in four of five simulation environments. Planning diagnostics show that factual prediction error and whole-bank action ranking do not follow the closed-loop success ordering, whereas CEM-aligned elite regret tracks success more closely. With a frozen V-JEPA 2 encoder and matched DROID post-training, AD-WM also improves zero-shot transfer to our Franka setup, increasing basic pick-and-place success from 42.2% to 71.1% without lab-specific adaptation. These results suggest that world models for planning should preserve action-dependent differences needed for counterfactual selection, rather than optimize factual prediction accuracy alone. More videos and code are available at https://ad-wm.github.io/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧