日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.20709

MoWAM: 効率的なワールドアクションモデルのための明示的な将来運動予測

MoWAM: Explicit Future Motion Prediction for Efficient World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

将来の動画生成をロボット運動の予測に置き換えることで、推論時の計算コストを抑えつつ分布シフトへの頑健性を高めたワールドアクションモデルを提案。

詳しい要約

1. どんなもの?

World Action Models (WAMs) の一種で、推論時の未来動画生成を廃止し、代わりにロボットの未来運動を明示的に予測する効率的なモデル。未来の完全なシーンを再構成せず、現在のシーンと相互作用制約下でのロボットの動きをコンパクトな抽象表現としてモデル化する。Mixture-of-Transformer アーキテクチャにより、訓練中に未来の視覚ダイナミクスを学習しつつ運動と行動を同時予測し、推論時には動画生成を完全に除去しながら未来の明示的表現を保持する。

2. 先行研究と比べてどこがすごい?

従来の WAMs は未来ダイナミクスを組み込むことでロボット政策学習を改善するが、推論時に未来動画を明示的に生成すると計算オーバーヘッドが大きい。未来生成を除去すると効率は向上するが、未来ダイナミクスが観測特徴に暗黙的にのみエンコードされ、分布シフト下でのロバスト性が制限されうる。MoWAM は未来動画生成を明示的な未来運動予測に置き換えることで、効率を保ちつつ未来の明示的表現を維持し、分布内性能、分布外ロバスト性、実世界成功率を向上させる。

3. 技術・手法の肝は?

未来の完全なシーン再構成の代わりに、構造化されたロボット運動を未来のコンパクトな抽象表現としてモデル化する。Mixture-of-Transformer アーキテクチャが訓練中に未来の視覚ダイナミクスを学習し、運動と行動を同時に予測する。推論時には動画生成を完全に除去する。さらに、コンパクトな運動表現により、運動と行動のペアを複数サンプリングし、motion-aware task-progress verifier で選択する推論時スケーリングが可能になる。

4. どうやって有効だと検証した?

LIBERO、LIBERO-Plus、および実世界のマニピュレーションタスクでの実験により、MoWAM が強い分布内性能、改善された分布外ロバスト性、代表的な WAM ベースラインよりも高い平均実世界成功率を達成することを示した。また、より多くの候補を探索するにつれて性能が向上し、明示的な未来運動が推論時スケーリングの効果的かつ効率的な基盤を提供することを実証した。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究として、World Action Models (WAMs) の代表的なベースラインが挙げられるが、具体的な論文名は要旨からは不明。関連手法として、未来動画生成を用いる WAMs、未来生成を除去した効率的 WAMs、Mixture-of-Transformer、motion-aware task-progress verifier などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiayu Wang, Bin Zhu, Yue Yu, Jingjing Chen

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) improve robot policy learning by incorporating future dynamics, yet explicitly generating future videos at inference introduces substantial computational overhead. Removing future generation improves efficiency, but leaves future dynamics only implicitly encoded in observation features, which can limit robustness under distribution shifts. We propose MoWAM, an efficient WAM that replaces future video generation with explicit future motion prediction. Instead of reconstructing the complete future scene, MoWAM models structured robot motion as a compact abstraction of the future, capturing how the robot is expected to evolve under the current scene and interaction constraints. A Mixture-of-Transformer architecture learns future visual dynamics during training while jointly predicting motion and action, allowing video generation to be removed entirely at inference while retaining an explicit representation of the future. The compact motion representation further enables efficient inference-time scaling by sampling multiple candidates of motion and action pairs and selecting among them with a motion-aware task-progress verifier. Experiments on LIBERO, LIBERO-Plus, and real-world manipulation tasks demonstrate that MoWAM achieves strong in-distribution performance, improved out-of-distribution robustness, and higher average real-world success than representative WAM baselines. In addition, performance improves as more candidates are explored, demonstrating that explicit future motion provides an effective and efficient basis for inference-time scaling.

関連論文

PR本紙発行元 EmplifAI