arXiv、行動と動画を同時予測する「AW-0」を公開

何が起きたか

arXivは2026-10-21、論文「Agentic World Action Models」を公開した。論文は、コード、将来動画、ロボット動作を三つの結合した生成ストリームとして扱うAW-0を提案し、コードベースの計画と推論を組み込んだエージェント型ワールドアクションモデルを示した。評価はRoboTwin 2.0と物理的な両腕操作タスクで行われ、VLAとWAMの基準手法に対して性能改善があったとしている。

詳細

論文によると、AW-0は単一のmixture-of-transformersアーキテクチャの中で、コード、未来の映像、ロボット動作を統合的に予測する。コード専門のエキスパートはパラメータ化された技能ルーチンと制御ロジックを生成し、映像と動作のエキスパートは未来の視覚状態と低レベルのモーターコマンドを生成する。 また、著者らは自動キュレーションのパイプラインも導入したとしている。このパイプラインは、ロボットと人間の動画軌跡に整合したプログラムを付与し、繰り返し現れるルーチンを再利用可能なスキルライブラリへ統合する。論文は、言語追従、意味推論、ロバスト性でも改善があったとしている。

Key Facts

本紙の見方

AW-0の新規性は、ワールドモデル系の「予測」と、エージェント系の「実行」を、コードを介して同じ枠組みに収めた点にある。従来の世界予測モデルは視覚的な先読みを持つ一方で、技能の再利用を明示的に扱う機構が弱く、エージェント型ロボティクスは計画と推論を持っていても物理ダイナミクスへの予測的な接地が不足しがちだと、論文は問題設定している。AW-0は、その隙間をコード生成と動画・動作予測の結合で埋めようとしている。 この構図は、ロボットの挙動を単発の行動出力ではなく、再利用可能な技能ライブラリとして管理する方向に近い。自動キュレーションでロボットと人間の軌跡に対応するプログラムを付与し、繰り返し現れるルーチンをまとめるという設計は、データ収集→軌跡の構造化→スキル再利用→新しいタスクへの実行、という連結を意識したものと読める。ここで焦点になるのは、どの程度の頻度で共通ルーチンが抽出できるか、抽出されたコードが異なるロボットや両腕操作条件でも移植可能か、という点である。 業界構造への含意は、モデル性能だけでなく、データ整理の仕方そのものにある。動画軌跡に対して整合したプログラムを自動付与するなら、学習データの価値は生の映像から、計画可能な表現へどれだけ変換できるかで決まりやすい。これは、視覚入力、行動出力、言語追従、意味推論を同時に扱うモデル設計を後押しする一方、評価指標も単純な成功率だけでは足りず、再利用性やロバスト性をどう測るかが課題になる。さらに、RoboTwin 2.0と物理的な両腕操作タスクでの改善が示された一方、どの程度の規模のデータでどこまで一般化するのかは、論文本文で確認すべき論点である。

なぜ重要か

論文が示すのは、ロボット学習で重要なのが「見て予測する」ことだけではなく、「予測をコードとして再利用できる形にする」ことだという点である。これは、両腕操作のように段階的な制御が必要なタスクで、モデルの中に計画と実行の接続を組み込む必要があることを示唆する。

日本への影響

日本のロボット研究にとっては、両腕操作や技能再利用を前提にした評価が、実機研究の中心課題と重なりやすい。特に、動画軌跡をプログラム化して再利用する設計は、実機データの蓄積方法や評価手順の組み立て方に影響しうる。