介入学習/強化学習2026/8/16arXiv:2608.15707v1

GAINS: 強化学習における不整合な人間介入信号の活用

GAINS: Leveraging Inconsistent Human Intervention Signals in Reinforcement Learning

人間の介入信号の遅延や不整合性を扱うため、分布強化学習と悲観的探索を用いた介入ベースのロボット操作学習フレームワークを提案し、シミュレーションと実機で高い成功率を達成した。

詳しい要約

1. どんなもの？

GAINSは、人間の介入信号が不完全（遅延や時間・状態空間での不整合）な状況でロボット操作ポリシーを学習するためのフレームワーク。分布強化学習（distributional RL）とquantile Q-networksを用いて、疎なタスク報酬と不完全な人間介入によるリターンの変動をモデル化し、悲観的探索戦略により安全でサンプル効率の良い学習を実現する。

2. 先行研究と比べてどこがすごい？

従来の介入ベースの強化学習（RLIFなど）は、人間の介入信号のタイミングの不完全性（遅延や不整合）を考慮せず、主に行動の不完全性のみを扱っていた。GAINSは、介入信号の時間的・空間的な不整合を明示的にモデル化し、リターンの変動を捉えることで、実世界の高頻度制御下での性能を向上させた点が新しい。

3. 技術・手法の肝は？

手法の核は、分布強化学習（quantile Q-networks）を用いて、介入信号の不整合によって生じるリターンの分布を推定すること。さらに、その分布表現に基づく悲観的探索戦略を導入し、人間の修正下での安全かつ効率的な学習を促進する。

4. どうやって有効だと検証した？

4つの多様なシミュレーション操作タスクと2つの実世界シナリオで、最先端の介入ベース手法（RLIFなど）と比較評価。GAINSはタスク成功率を22%向上させ、失敗シナリオでの回復成功率を最大43%改善した。

5. 議論はある？

要旨からは、介入信号の不完全性の種類（遅延、不整合）が具体的にどうモデル化されたか、悲観的探索の理論的保証、実世界での適用限界などは不明。また、評価タスクの詳細や比較手法の範囲も要旨のみでは判断できない。

6. 次に読むべき論文は？

要旨で参照されているRLIF（Reinforcement Learning with Intervention Feedback）や、介入ベースの強化学習の関連手法（例：Interactive Imitation Learning、Human-in-the-loop RL）を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyi Zhang, Yinuo Zhao, Pei Ren, Lechun Jiang, Huiqian Jin, Lei Sun, Dapeng Wu, Zhengping Che, Chi Harold Liu, Jian Tang

分類: cs.RO

原文アブストラクト

Correcting robot manipulation policies through human intervention holds great promise for real-world deployment, yet human operators are inherently imperfect in both the actions they provide and the timing of their intervention signals. While the former has been extensively discussed in reinforcement learning (RL), the latter remains underexplored. At high control frequencies, human intervention signals are often delayed and inconsistent across time and state space. In this work, we present GAINS, a framework for leveraging inconsistent human intervention signals in RL. At the core of GAINS, we employ distributional RL with quantile Q-networks to model the return variability induced by sparse task rewards and inconsistent human interventions. Building on this distributional representation, we introduce a pessimistic exploration strategy that promotes safe and sample-efficient learning under human corrections. We evaluate GAINS on four diverse simulated manipulation tasks and two challenging real-world scenarios against state-of-the-art intervention-based methods. GAINS achieves a 22% higher task success rate than RLIF and improves recovery success by up to 43% in failure scenarios. These results highlight the importance of modeling return variability induced by human imperfection for real-world deployment of intervention-based learning.

arXivで原文を読む →arXiv概要ページ

← 論文一覧