VLA2026/10/14arXiv:2610.19825

視覚言語行動モデルにおける世界モデリングで重要な要素は何か？

What Matters for World Modeling in Vision-Language-Action Models?

シェア:X Threads Facebook LINE はてブ Bluesky

VLAモデルへの世界モデル統合において、世界表現・統合パラダイム・ポリシーバックボーンを統一フレームワークで比較し、有効性を左右する要因を明らかにした研究。

詳しい要約

1. どんなもの？

- Vision-Language-Action models (VLAs) に world model を統合する研究。 - 既存手法は world representation、integration paradigm、policy backbone が同時に異なり、何が有効か不明。 - 4つの代表パラダイム (Implicit Future Alignment, Explicit Future Query, MoT Future Expert, External World Predictor) に分類。 - 統一フレームワークで各パラダイムを実装し、多様な設定で系統的に評価。

2. 先行研究と比べてどこがすごい？

- 従来は world representation、統合方法、backbone が混在し要因分離が困難。 - 本研究は4パラダイムを統一枠組みで実装し、要因を切り分けて比較。 - in-domain, out-of-domain, long-horizon, dynamic, few-shot, real-world の多設定で評価。 - 4つの主要知見を導出し、設計指針を提供。

3. 技術・手法の肝は？

- 既存研究を4パラダイムに分類: Implicit Future Alignment, Explicit Future Query, MoT Future Expert, External World Predictor。 - 各パラダイムを統一フレームワーク内で実装。 - 多様な world representation と policy backbone を組み合わせて評価。 - 評価設定: in-domain, out-of-domain, long-horizon, dynamic, few-shot, real-world。

4. どうやって有効だと検証した？

- 統一フレームワークで4パラダイムを多様な world representation と policy backbone で評価。 - in-domain, out-of-domain, long-horizon, dynamic, few-shot, real-world 設定で検証。 - 主な結果: 1) world representation の有効性はパラダイム依存、2D semantic は頑健な利得。 - 2) 万能なパラダイムはないが decoupled MoT Future Expert が競争力あり、特に OOD 頑健性。 - 3) world modeling は標準 VLM ベースの policy に一貫して有益、decoupled 設計は pretrained VLA と親和性高い。 - 4) action-only baseline より複数設定で改善、long-horizon と dynamic で顕著。

5. 議論はある？

- world representation の有効性はパラダイムに依存し、2D semantic が cross-paradigm で頑健。 - 単一の最適パラダイムは存在しないが、decoupled MoT Future Expert が総合性能と OOD 頑健性で競争力。 - world modeling は標準 VLM ベース policy に一貫して有益。 - decoupled 設計は pretrained VLA との互換性が高い。 - action-only baseline より改善、特に long-horizon と dynamic タスクで顕著。

6. 次に読むべき論文は？

- Implicit Future Alignment - Explicit Future Query - MoT Future Expert - External World Predictor - 関連する Vision-Language-Action models (VLAs) や world model 統合研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qisen Ma, Yixiang Chen, Yuan Xu, Peiyan Li, Jiabing Yang, Kai Wang, Jianhua Yang, Jianlou Si, Jun Huang, Jing Liu, Nianfeng Liu, Yan Huang, Liang Wang

分類: cs.RO, cs.CV

原文アブストラクト

Integrating world models into Vision-Language-Action models (VLAs) has emerged as a promising direction, enabling policies to anticipate future dynamics beyond reactive observation-to-action mapping. However, existing approaches vary simultaneously in their world representations, integration paradigms, and policy backbones, making it difficult to determine what truly matters for effective world model integration. To disentangle these factors, we categorize existing efforts into four representative paradigms, namely Implicit Future Alignment, Explicit Future Query, MoT Future Expert, and External World Predictor. We instantiate each within a unified framework and systematically evaluate these paradigms with diverse world representations and policy backbones across in-domain, out-of-domain, long-horizon, dynamic, few-shot, and real-world settings. Our study yields four main findings: 1) world representation effectiveness is paradigm-dependent, whereas 2D semantic representations offer robust, cross-paradigm gains; 2) no single paradigm is universally optimal, yet the decoupled MoT Future Expert offers competitive overall performance, particularly in OOD robustness; 3) world modeling consistently benefits policies built on standard VLMs, while decoupled designs exhibit greater compatibility with pretrained VLAs; and 4) world modeling improves performance over action-only baselines across multiple settings, with notable gains on long-horizon and dynamic tasks. Project page and video demonstrations are available at https://dylanmqs.github.io/WM-in-VLAs/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

PR本紙発行元 EmplifAI