日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.30136

エージェント型ワールドアクションモデル

Agentic World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

コードによる計画と動画・行動の同時予測を統合したAW-0を提案し、スキルを再利用可能なプログラムとして扱うことでロボット操作の性能と汎化性を向上させた。

詳しい要約

1. どんなもの?

- 本論文は AW-0 と名付けた agentic world action model のフレームワークを提案する。 - code-based planning と joint video and action prediction を統合する点が特徴。 - code、future video、robot actions の3つを coupled generative streams として unified mixture-of-transformers architecture 内で同時にモデル化する。 - code expert が parameterized skill routines と control logic を生成し、video/action experts が future visual states と low-level motor commands を生成する。 - ロボット操作における compositional skill reuse の明示的機構を目指す。

2. 先行研究と比べてどこがすごい?

- 従来の world action models は visual foresight と future prediction を提供するが、compositional skill reuse の明示的機構を欠く。 - 従来の agentic robotics は code-based planning と reusable skills を組み合わせるが、physical dynamics への predictive grounding をしばしば欠く。 - AW-0 は code-based planning と joint video/action prediction を統合し、両者の弱点を補う。 - RoboTwin 2.0 と physical bimanual manipulation tasks で VLA および WAM baselines を上回る task performance を示す。 - language following、semantic reasoning、robustness でも改善が報告されている。

3. 技術・手法の肝は?

- code、future video、robot actions を3つの coupled generative streams として unified mixture-of-transformers architecture で jointly model する。 - code expert が parameterized skill routines と control logic を生成する。 - video expert と action expert がそれぞれ future visual states と low-level motor commands を生成する。 - code は world model 内の multi-step prediction/control の構造化と、再利用可能な program としての skill 表現の二役を担う。 - robot/human video trajectories に aligned programs を付与し、反復 routine を reusable skill libraries に統合する automate…

4. どうやって有効だと検証した?

- RoboTwin 2.0 上で評価を実施。 - physical bimanual manipulation tasks でも評価。 - VLA および WAM baselines と比較し、task performance の向上を確認。 - language following、semantic reasoning、robustness の改善も報告。 - 具体的な評価指標・被験者数・統計手法は要旨からは不明。

5. 議論はある?

- agentic code が WAMs 内で planning、prediction、execution を接続することを示唆。 - code を介した compositional skill reuse の有効性を主張。 - 限界・失敗事例・計算コスト・skill library の汎化性に関する議論は要旨からは不明。 - human video の活用範囲や curation pipeline の品質依存性も要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及された VLA (Vision-Language-Action) モデル。 - 比較対象として言及された WAM (World Action Model) ベースライン。 - 評価に用いられた RoboTwin 2.0。 - 関連する agentic robotics および code-based planning の研究。 - compositional skill reuse や reusable skill libraries に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhuoyang Liu, Dantong Niu, Botong Zhang, Boning Shao, Jing Wang, Ruijie Zheng, Yuvan Sharma, Runyu Lu, Jiaming Liu, Renrui Zhang, Roei Herzig, Yutong Bai, Ken Goldberg, Danfei Xu, Yuke Zhu, Guanzhi Wang, Linxi "Jim" Fan, Trevor Darrell

分類: cs.RO

原文アブストラクト

Recent world action models provide visual foresight and future prediction for robot manipulation, but lack explicit mechanisms for compositional skill reuse. Agentic robotics combines code-based planning and reasoning with reusable skills, but often lacks predictive grounding in physical dynamics. We introduce AW-0, an agentic world action model framework that integrates code-based planning with joint video and action prediction. We jointly model code, future video, and robot actions as three coupled generative streams within a unified mixture-of-transformers architecture. Within this architecture a code expert generates parameterized skill routines and control logic while video and action experts generate future visual states and low-level motor commands. Code serves two complementary roles: it structures multi-step prediction and control within the world model and represents skills as reusable programs for subsequent agentic execution. We further introduce an automated curation pipeline that labels robot and human video trajectories with aligned programs and consolidates recurring routines into reusable skill libraries. Evaluations on RoboTwin 2.0 and physical bimanual manipulation tasks show improved task performance over VLA and WAM baselines, alongside gains in language following, semantic reasoning and robustness, demonstrating that agentic code enables connection between planning, prediction and execution within WAMs.

関連論文

PR本紙発行元 EmplifAI