何が起きたか

arXivに2026年11月18日掲載の論文は、ヒューマノイドの全身移動・操作向けVLAを、行動条件付き動画世界モデル内で追加学習する枠組み「WEVO」を提示した。実ロボットの3タスクでは、動画世界モデルを使う強化学習の平均成功率が75.0%となり、実ロボットによる強化学習の48.3%、比較対象の23.3%を上回った。

詳細

WEVOは、模倣学習を超えてVLAを強化学習で改善する一方、ヒューマノイドの探索に伴う危険や、シミュレーターと実機の差を利用する問題に対処する枠組みとして説明されている。シミュレーションでの操作・移動の「play data」を使って、接触力学と視点変化の予測を改善する。 合成デモで学習したVLAが各タスクで自律的な実機ロールアウトを20回収集し、その観測に合わせて動画世界モデルを調整する。その後、VLA、全身制御器(WBC)、動画世界モデルを組み合わせた閉ループの強化学習環境を構成し、進捗に応じた密な報酬を用いる。

Key Facts

WEVOは、行動条件付き動画世界モデルを使い、全身移動・操作向けヒューマノイドVLAをテレオペレーションなしで追加学習する枠組みとして提示された。[1]
各タスクで、合成デモで学習したVLAが自律的な実機ロールアウトを20回収集し、動画世界モデルを実機の観測に合わせる。[1]
評価対象の実ロボット3タスクで、動画世界モデルを用いた強化学習の平均成功率は75.0%、実ロボットによる強化学習は48.3%、比較対象は23.3%だった。[1]
シミュレーションでの操作・移動のplay dataは、評価されたすべての動画世界モデル指標と、その下流方策の成功率を改善した。[1]

本紙の見方

数字の中心は、実ロボットの3タスクで動画世界モデルを使った強化学習が平均75.0%の成功率を示し、実ロボットによる強化学習の48.3%を上回った点にある。ただし、これは実機データを不要にした結果ではない。各タスクでVLAが自律的な実機ロールアウトを20回収集し、その観測に合わせて世界モデルを調整している。したがってWEVOの特徴は、実機を完全に置き換えることより、実機観測を使って学習環境を整えたうえで、方策改善の反復を動画世界モデル内に移す構成にある。 もう一つの要点は、シミュレーションと動画世界モデルの役割を分けたことだ。論文は、シミュレーションを方策の初期化と広い範囲のデータ獲得に使い、動画世界モデルを実機観測に沿った方策改善に使うとしている。模倣学習だけで得た方策を、シミュレーターでそのまま強化学習する構成では、残るシミュレーションと実機の差を利用する問題がある。WEVOは、模擬環境のデータを捨てずに使いながら、実機で観測した変化をモデル側へ反映する二段構えと読める。play dataが接触力学と視点変化の予測、さらに下流方策の成功率を改善したとの結果は、この接続部分が設計上の要所であることを示す。 ロボット開発の工程で見ると、合成デモによるVLAの初期学習、シミュレーションの操作・移動データによる世界モデルの改善、実機ロールアウトによるモデル調整、閉ループ学習による方策更新が連なる。これは、現実のロボットで直接試行を重ねる方法と、シミュレーションだけで学習する方法の中間に位置する。テレオペレーションを使わないという説明も、実機との接点がなくなる意味ではなく、ここで報告された範囲では自律ロールアウトを調整に利用する方式を指す。 一方、確認されたのは3タスクでの結果であり、タスクの種類や個別の成功率、各方式の学習時間・計算量、実機ロールアウトの安全確保方法は要旨に記載されていない。したがって、75.0%という平均値だけから異なる作業への一般化や、実機試行の削減量を判断することはできない。今後の評価では、タスクごとの成績、ロールアウト数を変えた場合の性能、世界モデルの予測誤差と方策成功率の関係、実環境での安全性を確認する必要がある。これらが示されれば、動画世界モデルを用いる方法が、実機での強化学習をどの条件で補完できるかがより明確になる。

なぜ重要か

論文の評価では、実ロボット3タスクの平均成功率が、動画世界モデルを用いた強化学習で75.0%、実ロボットによる強化学習で48.3%だった。各タスク20回の自律ロールアウトで世界モデルを実機観測に合わせる設計は、実機試行を残しながら方策改善をモデル内で行う方式の有効性を検討する材料となる。