VLA2026/9/9arXiv:2609.09941

幻覚を考慮した世界モデルベース方策最適化による汎用ロボット方策

HaWMPO: Hallucination-Aware World Model-based Policy Optimization for Generalist Robot Policy

世界モデルが生成する長期ロールアウトの幻覚を検出して信頼度を推定し、そのスコアを強化学習に組み込むことで、VLA方策の事後学習を安定化・高性能化する手法を提案。

詳しい要約

1. どんなもの？

- 一般ist robot policyの長期horizonタスクにおける成功率向上を目指す。 - VLA policyのpost-trainingをworld modelで行う閉ループ強化学習パイプラインHaWMPOを提案。 - hallucination-aware modelで生成画像列の信頼性を推定し、Reward-Soft機構でgroup relative policy optimizationに統合。 - LIBERO benchmarkとG1 robotの実世界実験で有効性を検証。

2. 先行研究と比べてどこがすごい？

- 実ロボットでのonline RLは物理interactionが高コスト、sample efficiencyが低く、ハードウェア・安全リスクがある。 - world modelによるimagined rolloutsはprediction hallucinationsによりbiased state transitionsを生じ、policy learningを誤導する問題があった。 - HaWMPOはhallucination-aware modelとReward-Soft機構で信頼性の低いaction chunksを抑制し、これらの問題に対処。 - LIBERO benchmarkでbase model比15.0%、最強baseline比2.8%の成功率向上を達成。

3. 技術・手法の肝は？

- action-conditioned hallucination-aware modelを導入し、生成画像列の信頼性を推定。 - hallucination scoresをgroup relative policy optimizationにReward-Soft機構で組み込み、信頼できないaction chunksを訓練中に抑制。 - VLA policyのpost-trainingをworld modelベースの閉ループ強化学習で実施。

4. どうやって有効だと検証した？

- LIBERO benchmarkで評価し、最高平均成功率を達成。base model比15.0%向上、最強baseline比2.8%向上。 - G1 robotでの実世界実験で2つのmanipulationタスクの平均成功率が67.5%から80.0%に向上。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番としてVisual-Language-Action (VLA) policies、world models、group relative policy optimization、LIBERO benchmark、G1 robotが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zengjue Chen, Peidong Liu, Jiawei Li, Qi Wang

分類: cs.RO

原文アブストラクト

Generalist robot policies have demonstrated strong generalization across robotic manipulation tasks, yet their success rates remain limited in com- plex long-horizon scenarios. Recent methods improve Visual-Language-Action (VLA) policies through online reinforcement learning on real robots, but such training relies on costly physical interactions, suffers from low sample efficiency, and may introduce hardware and safety risks. World models offer a promising alternative by enabling policy optimization with imagined rollouts. However, long-horizon rollouts generated by world models often suffer from prediction hal- lucinations, producing biased state transitions that can mislead policy learning. To address this issue, we propose Hallucination-aware World Model-based Pol- icy Optimization (HaWMPO), a closed-loop reinforcement learning pipeline for VLA policy post-training with world models. Specifically, HaWMPO introduces an action-conditioned hallucination-aware model to estimate the reliability of gen- erated image sequences, and incorporates hallucination scores into group relative policy optimization through a Reward-Soft mechanism, suppressing unreliable ac- tion chunks during training. On the LIBERO benchmark, HaWMPO achieves the best average success rate, with gains of 15.0% over the base model and 2.8% over the strongest baseline; real-world experiments on a G1 robot further validate its effectiveness, raising the average success rate on two manipulation tasks from 67.5% to 80.0%.

arXivで原文を読む →arXiv概要ページ