日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.27753

AWM-VLA: 効率的で説明可能な視覚-言語-行動ポリシーのための整合された世界モデリング

AWM-VLA: AlignedWorld Modeling for Efficient and Explainable Vision-Language-Action Policies

シェア:XThreadsFacebookLINEはてブBluesky

拡散トランスフォーマーポリシー内に未来の視覚-言語埋め込みと整合する未来トークンを組み込み、物体中心の予測も加えることで、長期的な結果を先読みしつつ説明可能なロボット操作を実現した。

詳しい要約

1. どんなもの？

- Vision-language-action (VLA) モデルは汎用ロボット操作の強力なパラダイムだが、しばしば反応的で、現在の観測を直接行動チャンクに写像し、長期的な結果を推論しない。 - 本研究は AWM-VLA を提案する。これは aligned world modeling を diffusion-transformer ポリシーに直接埋め込む統一フレームワーク。 - Future Latent REpresentation Alignment (FLARE) 原則に従い、学習可能な future tokens を追加し、その中間活性を未来観測の vision-language embeddings と整列させる。 - これにより、行動生成中に長期的な結果を予期できる。 - さらに object-centric decoupled alignment 目的を導入し、グローバルな未来埋め込みとともに未来のオブジェクトレベル意味論を予測する。 - グローバルとオブジェクト中心の整列項を action flow-matching loss とバランスさせ、制御可能な accur…

2. 先行研究と比べてどこがすごい？

- 先行研究では、ポリシーに world models を付与する試みは、ピクセル空間で未来フレームを再構成する（高コストでタスク無関係な詳細に支配される）か、world model をポリシーから分離して制御を弱めるかのいずれかだった。 - AWM-VLA は aligned world modeling を diffusion-transformer ポリシー内に直接埋め込み、これらの問題を回避。 - ピクセル再構成ではなく、future tokens の中間活性を未来観測の vision-language embeddings と整列させる。 - これにより、高コストなピクセル再構成を避けつつ、ポリシーと world model を統合して制御を強化。 - さらに object-centric decoupled alignment 目的を導入し、解釈性とマルチ指示汎化を改善。 - グローバルとオブジェクト中心の整列項を action flow-matching loss とバランスさせ、精度と解釈性のトレードオフを制御可能に。 - 先行の VLA や world-model ベ…

3. 技術・手法の肝は？

- 統一フレームワーク AWM-VLA を提案。aligned world modeling を diffusion-transformer ポリシーに直接埋め込む。 - Future Latent REpresentation Alignment (FLARE) 原則に従う。 - 学習可能な future tokens を追加し、その中間活性を未来観測の vision-language embeddings と整列させる。 - これにより、行動生成中に長期的な結果を予期できる。 - 拡張として、object-centric decoupled alignment 目的を導入。グローバルな未来埋め込みとともに未来のオブジェクトレベル意味論を予測。 - これにより解釈性とマルチ指示汎化を改善。 - グローバルとオブジェクト中心の整列項を action flow-matching loss とバランスさせる原理的な重み付けを導入。 - これにより制御可能な accuracy–interpretability trade-off を実現。 - ポリシーに少数の学習可能トークンを追加するだけで…

4. どうやって有効だと検証した？

- RoboCasa と humanoid tabletop manipulation ベンチマークで評価。 - 先行の VLA および world-model ベースラインと比較して、成功率を最大 21% 向上。 - 新規オブジェクトや指示への汎化を改善。 - オブジェクト中心の根拠を生成し、人間評価者により 83% のケースで好まれる。 - これにより、有効性と解釈性が検証された。

5. 議論はある？

- 要旨からは、具体的な議論や限界についての記述は不明。 - ただし、accuracy–interpretability trade-off が制御可能であること、object-centric rationales が人間に好まれることが述べられている。 - 計算コストやスケーラビリティに関する議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: 先行の VLA モデル、world-model ベースライン、Future Latent REpresentation Alignment (FLARE) 原則。 - 関連手法: diffusion-transformer ポリシー、flow-matching ポリシー、action flow-matching loss。 - ベンチマーク: RoboCasa、humanoid tabletop manipulation。 - 同分野の定番: Vision-Language-Action (VLA) モデル、world models for robotic manipulation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: An Lanji, Dawei Liu, Jin Li, Haoran Xu, Mei Chen, Yu Tian

分類: cs.CV

原文アブストラクト

Vision-language-action (VLA) models have become a powerful paradigm for generalist robotic manipulation, yet they are often reactive: the policy maps the current observation directly to an action chunk without reasoning about the long-term consequences of its decisions. Prior attempts to endow policies with world models either reconstruct future frames in pixel space---expensive and dominated by task-irrelevant detail---or decouple the world model from the policy, weakening control. We present AWM-VLA, a unified framework that embeds aligned world modeling directly inside a diffusion-transformer policy. Following the Future Latent REpresentation Alignment (FLARE) principle, we add learnable future tokens whose intermediate activations are aligned with vision-language embeddings of future observations, enabling the policy to anticipate long-term consequences while generating actions. We extend this paradigm in two ways. First, we introduce an object-centric decoupled alignment objective that predicts future object-level semantics alongside the global future embedding, improving both interpretability and multi-instruction generalization. Second, we balance the global and object-centric alignment terms against the action flow-matching loss through a principled weighting, yielding a controllable accuracy--interpretability trade-off. On RoboCasa and humanoid tabletop manipulation benchmarks, AWM-VLA outperforms prior VLA and world-model baselines by up to 21% in success rate, improves generalization to novel objects and instructions, and produces object-centric rationales that are preferred by human raters in 83 of cases. Our approach adds only a few learnable tokens to the policy and is compatible with any diffusion or flow-matching policy, making aligned world modeling an inexpensive, broadly applicable component of generalist manipulation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI