日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.13117

順方向ダイナミクスモデル

Forward Dynamics Models

シェア:XThreadsFacebookLINEはてブBluesky

未来予測を行動特徴に条件付けることで、推論時に未来生成を省略しつつ、真の未来状態で方策を学習させるロボット行動モデルを提案した。

詳しい要約

1. どんなもの?

- Vision-language-action (VLA) モデルと world action model (WAM) を踏まえた新しいロボット行動モデル Forward Dynamics Models (FDM) を提案。 - action-to-future パラダイムで行動と未来世界状態予測を結合。 - 未来予測は行動特徴に条件付けられ、逆はない。 - 推論時は未来生成を完全にスキップし計算コストを回避。 - backbone 非依存で VLM と VGM の両方で実装可能。

2. 先行研究と比べてどこがすごい?

- VLA は未来世界状態の明示的監督なしに学習する。 - WAM は予測未来に行動を条件付け、推論コスト増大と視覚予測誤差が行動へ伝播する問題がある。 - FDM は end-to-end 学習で ground-truth 未来状態が行動特徴を通じて policy を監督。 - 予測誤差が行動へ伝播せず、推論時に未来生成を省略できる。 - 両 backbone 系統で有効性を示し、LIBERO で 99.4% 平均成功率、実世界タスクで VLA/WAM 比最大 13% 絶対改善。

3. 技術・手法の肝は?

- action-to-future パラダイムを採用。 - 未来予測を行動特徴に条件付け、逆方向の条件付けを行わない。 - end-to-end 学習により ground-truth 未来状態が行動特徴を介して policy を監督。 - 推論時は未来生成をスキップ。 - backbone 非依存で VLM および VGM backbone で実装。

4. どうやって有効だと検証した?

- シミュレーションと実ロボットで実験。 - VLM と VGM の両 backbone 系統で FDM の有効性を確認。 - LIBERO で 99.4% の平均成功率を達成。 - 実世界タスクで VLA および WAM 手法に対し最大 13% の絶対改善。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Vision-language-action (VLA) モデル - world action model (WAM) - pretrained vision-language model (VLM) - video generative model (VGM) - LIBERO

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zipei Ma, Junzhe Jiang, Jiahui Zhang, Juntong Zhang, Chun Gu, Bozhou Zhang, Jiankang Deng, Xiatian Zhu, Li Zhang

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models and world action models (WAMs) have advanced robotic policy learning by building on pretrained vision-language models (VLMs) and video generative models (VGMs), respectively. Yet VLAs learn without explicit supervision from future world states, while WAMs that condition actions on predicted futures incur extra inference cost and let visual prediction errors propagate into actions. We present Forward Dynamics Models (FDM), a family of robotic action models that couples action and future world-state prediction through an action-to-future paradigm. Future prediction is conditioned on action features, never the reverse: end-to-end training lets ground-truth future states supervise the policy through these features, while prediction errors cannot propagate into actions. At inference, FDM skips future generation entirely, avoiding its computational cost. The paradigm is backbone-agnostic, and we instantiate it with both VLM and VGM backbones. Experiments in simulation and on real robots demonstrate the effectiveness of FDM across both backbone families, achieving a state-of-the-art 99.4% average success rate on LIBERO and absolute gains of up to 13% over VLA and WAM methods on real-world tasks.

関連論文

PR本紙発行元 EmplifAI