ロボット学習2026/8/21arXiv:2608.21204

模倣を超えて：オフポリシーQプランニングによるロボットポリシーの自己改善

Beyond Imitation: Self-Improving Robot Policies via Off-Policy Q-Planning

大規模な視覚運動BCポリシーに小さなオフポリシーQ関数を組み合わせ、推論時の価値誘導選択とオンライン自己改善を実現。失敗データを活用してベンチマークと実ロボットタスクの成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

本論文は、大規模なvisuomotor Behaviour Cloning (BC)ポリシーに小さなoff-policy Q-functionを組み合わせる「Q-Planning」を提案する。BCポリシーは固定し、Q-functionのみを学習・更新することで、失敗したdeployment rolloutから自己改善を可能にする。推論時にはBCの複数サンプルをQ値で重み付け平均し、オンラインではQ-functionのみをfine-tuningする。

2. 先行研究と比べてどこがすごい？

従来のBCは失敗から学習できず、RL fine-tuningは大規模モデルへの適用が困難だった。Q-Planningは、Q-functionが行動を模倣するのではなく価値を推定するため、成功デモと失敗rolloutの両方を吸収できる非対称性を利用する点が新しい。また、補助actorを訓練せずに安定して失敗から改善する点で、Best-of-N、filtered SFT、IBRL、DSRL、DAWRなどの既存手法と異なる。

3. 技術・手法の肝は？

手法の核は、BCポリシーを凍結し、小さなoff-policy Q-functionを学習すること。推論時にはBCから複数の行動候補をサンプリングし、Q値で重み付け平均する（single-step Q-weighted average）。オンライン自己改善では、成功・失敗のdeployment rolloutを収集し、Q-functionのみをfine-tuningする。これにより、BCの重みを変えずに価値ベースの改善を実現する。

4. どうやって有効だと検証した？

シミュレーションではLIBEROとbimanual RoboTwinを用い、10回の自己改善で全ベンチマークスコアが向上（LIBERO-10は93%→99%、RoboTwinは83.8%→91.4%）。また、接触を伴う実機のbimanualタスク（stack-cups、insert-wallet）で、BCを凍結し人間介入なしで5回の反復により成功率が40%→90%、25%→80%に向上。一方、SFTは55%と30%で停滞した。同一のオンライン予算では、Q-Planningのみが安定して失敗から改善した。

5. 議論はある？

要旨からは、Q-Planningの理論的保証や限界（例えば、Q-functionの過大評価や分布外行動への影響）についての議論は不明。また、実機タスクは2種類のみで、より多様なタスクでの検証が必要かもしれない。さらに、BCポリシーの品質がQ-functionの学習に与える影響や、Q-functionの容量設計についての考察は要旨に含まれていない。

6. 次に読むべき論文は？

要旨で比較されている手法として、Best-of-N、filtered SFT、IBRL、DSRL、DAWRが挙げられる。また、関連する分野の定番として、Behaviour Cloning、Off-Policy Reinforcement Learning、Q-Learning、Model-Based Planningなどが考えられる。具体的には、IBRL（Iterative Bi-Level RL）やDSRL（Diffusion Supervised RL）などの論文を読むと良い。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Varun Giridhar, Anant Khandelwal, Jeremy A. Collins, Ignat Georgiev, Animesh Garg

分類: cs.RO, cs.LG

原文アブストラクト

Behaviour Cloning (BC) has driven remarkable progress in robot manipulation, yet it is fundamentally limited by its inability to self-improve: a policy that fails cannot learn from that failure without additional human demonstrations. Reinforcement Learning fine-tuning offers a path to self-improvement but has proven difficult to scale to the multi-billion-parameter models underpinning modern robot policies. We propose Q-Planning, which equips a large visuomotor BC policy with a small off-policy Q-function. Because a Q-function estimates value rather than imitates actions, it can be trained on the same successful demonstrations as the BC policy and later absorb both successful and failed deployment rollouts, an asymmetry BC does not have. We exploit this asymmetry to enable value-guided action selection at inference (a single-step Q-weighted average over BC draws) and online self-improvement that fine-tunes only the Q-function, leaving the BC weights untouched. On LIBERO and bimanual RoboTwin, ten iterations of self-improvement lift every benchmark score we tested (LIBERO-10 93% to 99%, RoboTwin 83.8% to 91.4%) and shorten successful episodes on the near-ceiling suites (LIBERO-Object, LIBERO-Goal). On two contact-rich bimanual real-robot tasks, the same loop (BC frozen, no human intervention) improves purely from its own deployment rollouts: stack-cups 40% to 90% and insert-wallet 25% to 80% in five iterations, whereas SFT on successful rollouts alone stalls at 55% and 30%. Under an identical online budget Q-Planning is the only method, among Best-of-N, filtered SFT, IBRL, DSRL, and DAWR, that improves stably from failures without training an auxiliary actor.

arXivで原文を読む →arXiv概要ページ