世界モデルを巻き戻す「Rollback」、実ロボット3課題で成功率を改善

何が起きたか

arXivに2026年10月26日掲載された論文「Rollback: Experience Backtracking in World Models for Policy Improvement」は、世界モデルを使ってロボット方策を改善する手法「Rollback」を提案した。論文によると、ブロック抽出、ボール投げ、卓上カーリングの3課題で、最強ベースラインに対する成功率の改善幅はそれぞれ絶対値で10.67%、11.11%、11.85%だった。

詳細

Rollbackは、世界モデル上で重要な判断点まで戻り、異なる行動に分岐させて結果を比較する。比較結果を行動単位の教師信号に変換し、別途学習した価値モデルを使わずに方策改善へ利用する。論文は、分散型の世界モデル探索と非同期の実ロボット実行を組み合わせた訓練システムも説明している。 実ロボットで得た遷移データを軽量なLoRAパイプラインで世界モデルの動力学に反映し、更新したモデルでさらに方策を改善する。遠隔操作によるデモから始めたボール投げと卓上カーリングでは、訓練開始から8時間以内に、平均的な人間プレーヤーの成功率を上回ったと論文は報告した。

Key Facts

本紙の見方

今回の手法で軸となるのは、世界モデルを前向きな予測器として使うだけでなく、過去の判断点に戻って別の行動を試す点だ。実環境では同じ状態から異なる行動を何度もやり直すことが難しいが、Rollbackは世界モデル内で分岐を作り、行動ごとの結果を比較する。得られた比較を細かな行動単位の教師信号にするため、別個の価値モデルを追加せずに方策改善へ結びつける設計である。論文が「どこで想像するか」を重要な判断点に集中させるとしていることも、探索を一律に増やすのでなく、判断の評価に資源を配分する考え方を示す。 もう一つの特徴は、シミュレーション内の探索と実機の実行を分離しきらないことだ。分散した世界モデル探索と非同期の実ロボット実行を組み合わせ、実機で得た遷移を軽量なLoRAでモデルの動力学に反映する。したがって、世界モデルが方策を改善し、その方策の実行結果がモデルを更新する循環を構成する。これは固定された物理シミュレーターを訓練環境にする構成とは異なり、訓練中の方策が生む実遷移をモデル更新に使う点に意味がある。ただし、モデルの予測誤差がどの程度残るか、更新が特定の動作や環境に偏らないかは、循環の有効性を左右する論点となる。 結果は3課題でベースラインを絶対値10.67〜11.85%上回り、ボール投げと卓上カーリングでは8時間以内に平均的な人間プレーヤーの成功率を超えたとされる。一方、これは論文が評価した課題と比較条件に限った報告であり、異なる物体、環境、長時間運用にも同じ改善幅が及ぶとはいえない。また、人間との比較は2課題についての成功率であり、作業時間や失敗時の安全性を含む総合的な能力比較ではない。 次に確認すべきなのは、各課題での試行数やばらつき、世界モデルの予測精度、実機データの量、LoRA更新の頻度、実機での失敗や安全性の扱いだ。掲載要旨だけではこれらの条件を読み取れず、成功率改善を再現するためのデータ量や計算負荷も判断できない。手法の価値は、成功率の上昇だけでなく、実機経験をどれほど安定してモデルへ戻せるか、またその仕組みが別の課題にも適用できるかによって評価される。

なぜ重要か

Rollbackは、実ロボットで同じ判断点を繰り返し試しにくい課題に対し、世界モデル上の分岐比較を行動単位の教師信号として利用する。論文が報告した3課題の改善は、この方法が対象課題で機能したことを示す一方、別の作業や環境での有効性は個別に検証する必要がある。