マニピュレーション2026/8/10arXiv:2608.09762v1

集中訓練と批評家分解による実世界オンライン強化学習の効率化：ロボット操作への応用

Efficient Real-World Online Reinforcement Learning for Robot Manipulation via Centralized Training and Critic Decomposition

シェア:X Threads Facebook LINE はてブ Bluesky

実世界でのオンライン強化学習を効率化するため、集中訓練と分散実行（CTDE）とハイブリッド報酬アーキテクチャ（HRA）を組み合わせ、複数のエージェントが共有する多頭批評家を導入した。タスク報酬と把握報酬を分離し、サンプル効率と性能を大幅に向上させた。

詳しい要約

1. どんなもの？

実世界オンライン強化学習(RL)によるロボット操作のための統一フレームワークを提案。Centralized Training with Decentralized Execution (CTDE)とHybrid Reward Architecture (HRA)を組み合わせ、複数のアクターが集中型マルチヘッド・クリティックを共有する。クリティックはタスクヘッドと把持ヘッドに分解され、それぞれ疎なタスク報酬とポテンシャルベースの把持報酬に対応する。離散グリッパー方策のカテゴリカルな行動分布を考慮して、クリティックとアクターの目的関数を再定式化する。

2. 先行研究と比べてどこがすごい？

先行研究は人間介入によるサンプル効率的学習を実現しているが、ランダム化範囲が小さく、複数エージェントの同時学習による非定常性に課題があった。本手法はCTDEとHRAにより、複数アクターが集中型クリティックを共有することで非定常性を緩和し、次元ごとのドメインランダム化を先行研究より約5〜25倍大きく設定しても学習可能にした点が優れている。

3. 技術・手法の肝は？

手法の肝は、集中型マルチヘッド・クリティックの分解と、それに応じた目的関数の再定式化。クリティックをタスク報酬用と把持報酬用のヘッドに分け、ポテンシャルベースの把持報酬を導入。離散グリッパー方策のカテゴリカル分布を明示的に扱うため、アクターの目的関数を分解されたQ値と行動分布に基づいて設計。これにより、複数アクターが共有するクリティックの学習を安定化し、サンプル効率と性能を向上させる。

4. どうやって有効だと検証した？

2つのロボットアームとシミュレーションのヒューマノイドロボットを用いて、テニスボールとバナナのpick-and-place、pot reset、シミュレーションでのブロック移動タスクを検証。次元ごとのドメインランダム化を先行研究より約5〜25倍大きく設定。State-of-the-artベースラインと比較し、テニスボールpick-and-placeで成功率60%→80%、バナナpick-and-placeで60%→90%、シミュレーションのブロック移動で25%→95%に改善。ベースラインが一貫して失敗するタスクも成功させた。

5. 議論はある？

要旨からは、提案手法の限界や課題についての議論は不明。ただし、実世界オンラインRLのサンプル効率と性能を大幅に改善した一方で、ランダム化範囲の拡大や複数アクターの非定常性への対処が主な貢献であり、さらなるスケーラビリティや他のタスクへの一般化については要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている先行研究として、人間介入によるサンプル効率的学習手法（具体的な名称は不明）や、CTDE、HRA、ポテンシャルベースの報酬整形に関する研究が挙げられる。次に読むべき論文としては、これらの基盤となった論文や、実世界RLのための類似フレームワークを提案した論文が考えられるが、要旨からは特定できない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changhao Li, Yifang Zhang, Heng Zhang, Davide Torielli, Damiano Gasperini, Arturo Laurenzi, Luca Muratore, Arash Ajoudani, Nikos Tsagarakis

分類: cs.RO

原文アブストラクト

Real-world online reinforcement learning (RL) provides a promising approach for training robotic manipulation policies directly in the physical world, avoiding the sim-to-real gap and enabling continuous policy refinement through human-in-the-loop interaction. Recent methods have demonstrated sample-efficient learning through human intervention but remain limited to small randomization ranges and encounter challenges with the non-stationarity induced by concurrently training multiple agents. To address these limitations, we introduce a unified framework that combines centralized training with decentralized execution (CTDE) and a Hybrid Reward Architecture (HRA). This enables multiple actors to share a centralized multi-head critic. The critic is decomposed into task and grasp heads, corresponding to the sparse task reward and a potential-based grasping reward, respectively. We accordingly reformulate the critic and actor objectives to exploit the decomposed Q-values while explicitly accounting for the categorical action distribution of the discrete gripper policy. Experimental results demonstrate that the proposed framework substantially improves both sample efficiency and policy performance. We validate our approach on two robotic arms and a simulated humanoid robot across tennis ball and banana pick-and-place, pot reset, and simulated block relocation tasks under dimension-wise domain randomization, approximately 5-25x larger than those considered in prior work. Compared with a state-of-the-art baseline, our method improves the success rate from 60% to 80% on tennis ball pick-and-place, from 60% to 90% on banana pick-and-place, and from 25% to 95% on simulated block relocation, while also successfully accomplishing a task where the baseline consistently fails. Videos and more details are available at our project website: https://hil-harc.github.io/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧