arXiv論文「MERL」、VLAの後訓練で79.7%の平均成功率を報告

何が起きたか

arXivに掲載された2026-10-12付の論文は、Vision-Language-Action（VLA）モデル向けの後訓練手法「Model-Evolving Reinforcement Learning（MERL）」を提案した。論文は、世界モデルと報酬近似器を含むオンライン更新型シミュレータと政策最適化を結びつけ、想像データ比率、ロールアウト長、再生サンプルの重みを信頼度で制御するとしている。評価では、perturbed LIBERO-PROで平均79.7%の成功率、2件の実機タスクでは各タスク50デモから平均80.0%の成功率を報告した。

詳細

論文は、モデルフリーの後訓練がシミュレータ依存を避ける一方で相互作用コストが高く、モデルベースの後訓練は不確かな想像を使う点に課題があると整理している。その上でMERLは、シミュレータの信頼性に応じて想像データ比率とロールアウト長を変え、ロールアウト内ではチャンク単位の信頼度で再生選択と最適化の重み付けを行う設計を採るとしている。 さらに、未来の厳密な真値続きがない再帰的想像では、残差予測器が未来のground truthを問い合わせずに信頼度を推定するとしている。論文は、perturbed LIBERO-PROで高い閾値の学習速度が、対応するモデルフリー制御より10.9%向上したとしている。

Key Facts

本紙の見方

この論文の新しさは、VLAの後訓練を「どれだけ想像を使うか」の固定設計ではなく、シミュレータの信頼度に応じて調整する枠組みに置き換えた点にある。モデルフリーとモデルベースの中間解を狙う発想自体は既定路線だが、MERLは世界モデルと報酬近似器を含むシミュレータをオンライン更新し、その信頼度で想像データ比率、ロールアウト長、再生重みまで制御する。単なる性能比較ではなく、学習の入力経路そのものを信頼度で分岐させる構造が主眼とみられる。 本紙の過去報道はないため直接の連続性は置けないが、論文内で示された論点は、VLAの実運用がデモンストレーションの分布を外れた領域に出るほど、模倣学習だけでは足りず、しかし無制限な想像も危ういという既存の緊張関係を引き継いでいる。MERLはその緊張を、単に「より良いシミュレータ」を作るのでなく、シミュレータの信頼度そのものを学習ループに織り込んで解こうとしている点が特徴である。 業界構造への含意としては、VLA研究の焦点がモデル性能の絶対値から、学習データの使い分け、ロールアウトの打ち切り、再生サンプルの選別といった制御変数へ移っていることが読み取れる。これは、ロボット向け基盤モデルで重要なのが単発のベンチマーク点数ではなく、実機データが少ない局面でどこまで想像を学習に使えるかという運用設計だということを示す。ただし、perturbed LIBERO-PROと2件の実機タスクという結果だけでは、他のタスク群や長期運用で同じ傾向が続くかはまだ判断できない。 次に確認すべき論点は、学習コストの総量、信頼度推定の失敗時の挙動、他のVLAベースラインとの差、そして実機での再現性である。特に、50デモという固定データ適応の条件で80.0%を得たことは示されているが、データ効率と最終性能のトレードオフ、再帰的想像の誤差蓄積、報酬近似器の偏りがどの程度残るかは、本文の評価条件を超えた追加検証が必要とみられる。

なぜ重要か

論文が示した79.7%の平均成功率と、50デモでの実機80.0%は、VLAをデモンストレーション依存から外していく際に、想像の使い方を制御する必要があることを示している。発表元である論文は、信頼度に応じてシミュレータ利用を変える設計が学習速度と成功率に関係すると主張しており、実機導入を目指す開発者にとっては学習データの質だけでなく、シミュレータ更新の設計が主要論点になる。

日本への影響

日本のロボット研究・開発では、実機データの確保が限られる場面が多いため、50デモのような少量データ条件で学習を回す設計は関心を持たれやすい。一方で、この論文が扱うのはVLA後訓練とシミュレータ信頼度の制御であり、日本側でも同様の評価を行うには、実機タスク、模倣データ、シミュレータの整備が前提になる。