日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.25251

世界モデルでVLAを最適化する全身ロコマニピュレーション

WEVO: World Model-Enabled VLA Optimization for Whole-Body Loco-Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

実機ヒューマノイドの全身VLAを、行動条件付き動画世界モデル内で強化学習により事後学習する枠組みを提案し、実機RLより高い成功率を達成した。

詳しい要約

1. どんなもの?

- ヒューマノイドの whole-body loco-manipulation 向け VLA policy を、実機 teleoperation なしで post-training する枠組み WEVO の提案。 - action-conditioned video world model (WM) を RL 環境として用い、VLA・whole-body controller (WBC)・video WM を閉ループ化。 - 実機 3 タスクで評価し、video WM RL により平均成功率を 23.3% から 75.0% へ向上。

2. 先行研究と比べてどこがすごい?

- RL による VLA 改善は、実機探索の危険性や simulator RL の sim-to-real gap が課題だった。 - WEVO は teleoperation-free で実機 rollouts を少数(各タスク 20 回)だけ使い、WM を deployment に align。 - 実機 RL の 48.3% を上回る 75.0% の成功率を達成し、simulation と video WM の相補利用を主張。

3. 技術・手法の肝は?

- simulated manipulation/locomotion の play data で contact-dynamics と viewpoint-change 予測を改善した action-conditioned video WM を構築。 - synthetic demonstrations で学習した VLA が実機で 20 autonomous rollouts/task を収集し、WM を deployment 観測に align。 - VLA・WBC・video WM を closed-loop RL 環境とし、dense progress rewards で policy を改善。

4. どうやって有効だと検証した?

- 実機 3 タスクで評価。play data が全ての WM 指標と下流 policy 成功率を改善。 - video WM RL で平均成功率 23.3%→75.0%、実機 RL は 48.3%。 - simulation は policy 初期化と広い coverage を、video WM は deployment-aligned な改善環境を提供すると報告。

5. 議論はある?

- simulation と video WM の相補性を活かす設計を主張。 - 実機 rollouts は各タスク 20 回に限定。 - 限界や失敗要因、WM の汎化性など詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較されているのは実機 RL と simulator RL、action-conditioned video world model、VLA、WBC。 - 関連手法として world model ベース RL (Dreamer 系) や VLA post-training 研究を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qianzhong Chen, Muyuan Lin, Yuyin Sun, Mac Schwager, Cheng-Hao Kuo, Roberto Martín-Martín

分類: cs.RO

原文アブストラクト

Reinforcement learning (RL) can improve vision-language-action (VLA) policies beyond imitation, but humanoid exploration is unsafe and simulator RL can exploit residual sim-to-real gaps. We present WEVO, a teleoperation-free framework for post-training a whole-body humanoid VLA in an action-conditioned video world model (WM). Simulated manipulation and locomotion play data improve contact-dynamics and viewpoint-change prediction. A VLA trained on synthetic demonstrations collects 20 autonomous real robot rollouts per task to align the WM with deployment observations. The VLA, whole-body controller (WBC), and video WM then form a closed-loop RL environment with dense progress rewards. Across three real robot tasks, play data improves every evaluated WM metric and downstream policy success; video WM RL raises mean success from 23.3% to 75.0%, compared with 48.3% for real robot RL. We therefore leverage the complementary strengths of both environments: simulation provides policy initialization and broad coverage, while the video WM offers a deployment-aligned environment for policy improvement. Project website: https://qianzhong-chen.github.io/wevo.github.io/.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI