日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.22994

未来予測表現を行動生成に活用するRelayWAM

Making Future-Predictive Representations Actionable

シェア:XThreadsFacebookLINEはてブBluesky

映像予測と行動生成の間に遷移空間を設け、深層の予測情報を行動経路へ直接伝えることで、分布シフト下での汎化性能を向上させたロボット行動モデル。

詳しい要約

1. どんなもの?

- 将来予測を用いる world action models (WAMs) の推論時挙動を分析し、改善する研究 - Fast-WAM の layerwise 分析により、深い visual layer ほど future state transition をよく decode できる一方、future 目的と action 目的の gradient・visual focus が深さとともに乖離することを発見 - この depth-dependent mismatch を解消する RelayWAM を提案 - video backbone と action backbone の間に明示的な transition space を挿入し、推論時に未来フレームを生成せず将来予測情報を action 経路へ届ける - ロボット操作タスクにおける汎化性能の向上を狙う

2. 先行研究と比べてどこがすごい?

- 従来の WAMs は推論時に未来予測を捨て、補助的な future supervision で学んだ表現が action 生成に役立つと暗黙に仮定 - 本研究は Fast-WAM の layerwise 分析により、深い層の予測情報が action pathway で十分使われていない実態を可視化 - RelayWAM はこの予測情報を明示的に中継し、future supervision の利得を増幅 - LIBERO-Plus で mean success 72.03% を達成し、future supervision なしの 56.42%、Fast-WAM の 51.50% を上回る - simulation と real-world の分布シフト下での汎化も改善

3. 技術・手法の肝は?

- video backbone と action backbone の間に transition space を設けるアーキテクチャ - 入力条件は task instruction、robot state、current action estimate - recurrent transition layers が深さ方向に step-relevant な predictive cues を抽出 - 抽出した cues を action attention へ直接 relay - 推論時に future frames を生成しない点が肝 - これにより future 目的と action 目的の乖離を緩和し、予測表現を action 生成に活用

4. どうやって有効だと検証した?

- Fast-WAM の layerwise 分析で future state transition の decode 精度と gradient/visual focus の乖離を調査 - LIBERO-Plus での simulation 実験で mean success を比較 - RelayWAM 72.03% - future supervision なし 56.42% - Fast-WAM 51.50% - simulation および real-world robot tasks における distribution shifts 下での汎化を評価

5. 議論はある?

- 深い visual layer に予測情報が豊富にあるのに action pathway が活用しきれない depth-dependent mismatch の存在を指摘 - future supervision の利得がアーキテクチャ依存である可能性を示唆 - 推論時に未来フレームを生成しない設計のため、計算コスト面の利点が想定されるが要旨からは不明 - real-world 実験の詳細・失敗事例・限界は要旨からは不明

6. 次に読むべき論文は?

- Fast-WAM - world action models (WAMs) 全般 - LIBERO-Plus ベンチマーク - video backbone と action backbone を分離する一般的な video-action モデル - future supervision を用いる表現学習・world model 系の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fangchuan Wang, Hao Zhang, Qiyan Zhao, Huanqi Zhao, Guanting Ye, Xu-Yao Zhang, Yuqing Gao

分類: cs.RO

原文アブストラクト

Recent world action models (WAMs) drop future prediction at inference, assuming that representations learned through auxiliary future supervision still benefit action generation. However, our layerwise analysis of Fast-WAM reveals a depth-dependent mismatch: while probes decode future state transitions more accurately from deeper visual layers, the gradients and visual focuses of the future and action objectives increasingly diverge with depth, leaving much of this predictive information unused by the action pathway. To address this issue, we introduce RelayWAM, which adds an explicit transition space between the video and action backbones. Conditioned on the task instruction, robot state, and current action estimate, recurrent transition layers extract step-relevant predictive cues across depth and relay them directly into the action attention, without generating future frames at inference. Experiments show that RelayWAM substantially amplifies the benefit of future supervision, translating into stronger generalization under distribution shifts in both simulation and real-world robot tasks. On LIBERO-Plus, RelayWAM achieves 72.03% mean success, compared to 56.42% without future supervision and 51.50% for Fast-WAM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI