HaWMPO、ロボット方策学習で幻覚を考慮する新手法を提案

何が起きたか

arXivに2026-09-09付で掲載された論文「HaWMPO: Hallucination-Aware World Model-based Policy Optimization for Generalist Robot Policy」は、世界モデルを使ったVLA方策の後学習に閉ループ型強化学習パイプラインを提案した。手法名はHaWMPOで、生成画像系列の信頼性を見積もる行動条件付きの幻覚認識モデルと、幻覚スコアをGRPOに組み込むReward-Soft機構を組み合わせる。論文は、信頼できない行動チャンクを学習中に抑制する設計だとしている。

詳細

論文は、一般化ロボット方策が長いタスクでは成功率に限界がある一方、実ロボットでのオンライン強化学習は物理的なやり取りのコストやサンプル効率、安全性の課題を伴うと述べる。これに対し、HaWMPOは想像ロールアウトを用いる世界モデルを活用しつつ、幻覚による偏った状態遷移が方策学習を誤らせる点を抑える構成である。 評価では、LIBEROベンチマークで平均成功率がベースモデル比15.0%上昇し、最強ベースライン比でも2.8%上回った。実機ではG1ロボットを用い、2つの操作課題で平均成功率が67.5%から80.0%に上がったとしている。

Key Facts

本紙の見方

この論文の新しさは、ロボット方策学習を単に世界モデルで加速するのではなく、世界モデル自体が作る幻覚を学習信号から切り離そうとした点にある。世界モデルを用いた想像ロールアウトは、実機接触を減らせる一方で、長い系列では状態遷移のずれが積み上がる。HaWMPOは、そのずれを行動チャンク単位で評価し、Reward-Softで学習重みを落とす設計であるため、既存のVLA後学習を「高速化」ではなく「信頼性管理」へ寄せた手法とみられる。 本紙の関連記事はないため、過去報道との連続性は置かないが、論文が挙げる課題設定は、一般化ロボット方策、世界モデル、実機強化学習という既存の流れの延長線上にある。新しいのは、幻覚の有無を方策更新に直接反映させた点であり、ここが単なる精度改善論文との違いである。LIBEROでの15.0%改善と、G1ロボットでの67.5%から80.0%への上昇は、少なくとも論文の対象条件では、想像ロールアウトをそのまま使うより選別付きで使う方が有利であることを示唆する。 業界構造への含意としては、ロボット学習で重要なのがモデル性能そのものだけでなく、どのロールアウトを学習に残すかというデータ選別の層になりつつある点が大きい。これにより、計算資源だけを積み増しても解けない誤差蓄積の問題が前景化する。とりわけ長時間タスクでは、世界モデルの生成品質、報酬設計、GRPOの適用方法が一体で問われるため、評価は平均成功率だけでなく、どの失敗モードが減ったのかに移るとみられる。 未確定の論点は、HaWMPOがどの程度タスクやロボット本体をまたいで再現するか、幻覚スコアの計算コストが学習全体に与える影響、G1以外の機体で同じ効果が出るかである。論文要旨だけでは、学習データ規模、実験の詳細な条件、実運用での安全性評価までは判断できない。

なぜ重要か

実ロボットでの強化学習は物理接触のコストと安全性が論点になりやすく、論文はそこに世界モデルと幻覚評価を重ねる設計を示した。LIBEROとG1ロボットの両方で改善を示したことから、学習効率だけでなく、想像ロールアウトを使う際の信頼性確認が実装条件として重要になる可能性がある。

日本への影響

日本のロボット研究や実機学習では、モデルの精度だけでなく、生成した軌道をどの条件で採用するかという評価層の設計が焦点になりうる。特に実機試験の回数を抑えたい開発現場では、幻覚スコアのような選別ロジックが学習コストと安全性の両面に関わる。