日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.19559

変化だけを学ぶ世界行動モデルResWAM

ResWAM: Learning What Changes, Not What Stays, for World-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

未来予測を背景のコピーではなく現在から未来への特徴変化(残差)に限定して学習し、軽量な2分岐DiTで行動と残差を同時学習する世界行動モデルを提案した論文。

詳しい要約

1. どんなもの?

- ResWAM は vision-language-action policy (VLA) に将来予測を付加する World-Action Model (WAM) の新手法。 - 将来の観測全体ではなく、現フレームから将来フレームへの特徴変化(visual residual)のみを監督する。 - 全体 2.3B パラメータ、うち軽量 0.5B の dual-branch DiT が action branch と residual branch を conditional flow matching で同時学習。 - 外部 robot 軌跡での事前学習なしで LIBERO-Plus、RoboTwin 2.0、RoboDojo、実機タスクに適用。

2. 先行研究と比べてどこがすごい?

- 既存 WAM は将来観測の全体を教師信号とするため、action chunk 内で変化の小さい静的背景のコピーに損失が支配され、task 関連の robot/object 運動学習が阻害される。 - 既存 WAM は大規模 video generation model や別個の world model に依存し、学習・推論コストが大きく closed-loop 展開を妨げる。 - ResWAM は residual 監督で特徴 rank が高く多様な変化表現を得て、背景より robot arm と操作対象に空間集中。計算量も低減。

3. 技術・手法の肝は?

- frozen DINOv3 空間で現フレーム→将来フレームの特徴差分のみを監督する visual residual learning を導入。 - 完全な将来特徴より高い feature rank と多様な scene change 表現が得られ、背景でなく robot arm・物体に集中する。 - ResWAM は 0.5B dual-branch DiT を持ち、action branch と residual branch を conditional flow matching で joint training。 - 全体 2.3B パラメータで軽量・低計算を狙う構成。

4. どうやって有効だと検証した?

- LIBERO-Plus で平均成功率 81.1%、RoboTwin 2.0 で 93.8%、RoboDojo で success 9.40%・score 13.41 を記録。 - 学習 2.7-4.0 TFLOPs、推論 1.0-1.4 TFLOPs という低計算で達成。 - 実機 Open・Put・Stack で平均 80.0%(π_{0.5} 比 +10.0%)、latency 92.7 ms。 - 外部 robot 軌跡での事前学習なしでこれらの結果を報告。

5. 議論はある?

- residual 監督が完全将来特徴より高い feature rank と多様な変化表現を与え、背景コピーへの支配を避ける点を主張。 - 大規模 video generation model や separate world model を不要とし、closed-loop 展開の計算障壁を下げる点を議論。 - ただし要旨からは、residual 学習の限界や失敗ケース、長期予測への一般性についての詳細は不明。

6. 次に読むべき論文は?

- π_{0.5}(実機比較のベースライン)。 - vision-language-action policy (VLA) および World-Action Model (WAM) の既存研究。 - DINOv3(frozen 特徴空間として使用)。 - conditional flow matching と DiT を用いる行動生成手法。 - ベンチマークとして LIBERO-Plus、RoboTwin 2.0、RoboDojo 関連の論文。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chongyu Fan, Gaowen Liu, Ramana Rao Kompella, Jason Corso, Sijia Liu

分類: cs.RO

原文アブストラクト

World-action models (WAMs) augment vision-language-action policies (VLAs) with future prediction so that the policy can anticipate how its actions will affect the physical world. Existing WAMs supervise complete future observations. However, observations typically change little over an action chunk, so the future loss is dominated by copying static background content rather than learning task-relevant robot and object motion, limiting policy learning. Moreover, existing WAMs rely on large video generation models or separate world models, incurring heavy training and inference compute that hinders closed-loop deployment. To improve policy performance, we propose visual residual learning, supervising only the feature change from the current frame to the future frame in a frozen DINOv3 space. Compared with complete future features, this residual learning target yields a higher feature rank with richer and more diverse representations of scene changes, and spatially concentrates on the robot arm and manipulated objects rather than the background. To further improve computational efficiency, we present ResWAM, a residual world-action model with 2.3B parameters in total, including a lightweight 0.5B dual-branch DiT that jointly trains an action branch and a residual branch via conditional flow matching. Without robot pretraining (i.e., pretraining on external robot action trajectories beyond the benchmark demonstrations), ResWAM achieves top average success rates on LIBERO-Plus (81.1%), RoboTwin 2.0 (93.8%), and RoboDojo (9.40% success, 13.41 score) at the lowest training (2.7-4.0 TFLOPs) and inference compute (1.0-1.4 TFLOPs), and leads real-robot Open, Put, and Stack (80.0% average, +10.0% over $π_{0.5}$) at 92.7 ms latency.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI