強化学習2026/8/18arXiv:2608.17347v1

反復による強化：強化学習における即時エピソード反復によるサンプル効率の向上

Repetition as Reinforcement: Enhancing Sample Efficiency via Instant Episode Repetition in Reinforcement Learning

成功したエピソードの行動系列を即座に繰り返す新しいメカニズム「Instant Episode Repetition (IER)」を提案し、SACやTD3に統合してサンプル効率を向上させた。

詳しい要約

1. どんなもの？

本論文は、強化学習におけるサンプル効率を向上させるための新しいメカニズムであるInstant Episode Repetition (IER)を提案している。IERは、高報酬を得たエピソードの行動系列を、その後の一定数のエピソードで即座に繰り返すことで、環境との再相互作用を通じて価値ある行動を強化する。このメカニズムをSACおよびTD3アルゴリズムに統合し、連続制御ベンチマーク（MuJoCo、DeepMind Control Suite、実ロボットによる動的物体並進タスク）で評価している。

2. 先行研究と比べてどこがすごい？

従来のExperience ReplayやSelf-Imitation Learning (SIL)は、過去の経験を訓練更新時に受動的に再利用するのに対し、IERはデータ収集プロセスに直接影響を与える点が新しい。つまり、IERは環境との相互作用中に行動系列を能動的に繰り返すことで、価値ある行動を強化する。この能動的な繰り返しが、受動的な再利用よりもサンプル効率を向上させる可能性がある。

3. 技術・手法の肝は？

IERの核心は、エピソードの報酬が高いと判断された場合、そのエピソードの行動系列をその後の一定数のエピソードで繰り返すことである。具体的には、エージェントが高報酬エピソードを完了した後、その行動系列を固定回数（例：数エピソード）だけ再実行する。これにより、成功した行動パターンが環境との再相互作用を通じて強化される。IERはSACやTD3などの既存のアルゴリズムに簡単に統合でき、追加のハイパーパラメータは繰り返し回数のみである。

4. どうやって有効だと検証した？

IERをSACおよびTD3に統合し、MuJoCo、DeepMind Control Suite、および実ロボットによる動的物体並進タスクを含む連続制御ベンチマークで評価した。実験結果は、標準的なベースラインおよびSelf-Imitation Learningに基づくベースラインと比較して、学習性能が向上することを示した。具体的な数値や比較対象の詳細は要旨からは不明である。

5. 議論はある？

要旨からは、IERの限界や潜在的な欠点についての議論は不明である。例えば、繰り返し回数の選択が性能に与える影響や、高報酬エピソードの定義（閾値など）についての詳細は述べられていない。また、IERが探索を阻害する可能性や、タスクの多様性に対する影響についても議論されていない。

6. 次に読むべき論文は？

要旨で参照されている研究は、Experience Replay、Self-Imitation Learning (SIL)、SAC、TD3、MuJoCo、DeepMind Control Suiteなどである。次に読むべき論文としては、これらの基礎となった論文、特にSAC（Soft Actor-Critic）やTD3（Twin Delayed DDPG）の原著論文、およびSelf-Imitation Learningの論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hoda Yamani, Yuning Xing, Koen van Rijnsoever, Bruce A. MacDonald, Henry Williams

分類: cs.LG, cs.RO

原文アブストラクト

Repetition is a fundamental mechanism in human learning, where revisiting successful experiences strengthens memory, consolidates skills, and improves future performance. Motivated by this biological principle, we introduce Instant Episode Repetition (IER), a simple and novel mechanism that improves sample efficiency by immediately repeating action sequences from successful episodes during environment interaction. Unlike conventional approaches such as Experience Replay and Self-Imitation Learning (SIL), which passively reuse past experience during training updates, IER directly influences the data collection process. Upon identifying a high-reward episode, the agent repeats its action sequence for a fixed number of subsequent episodes, reinforcing valuable behaviors through renewed interaction with the environment. We integrate IER into state-of-the-art SAC and TD3 algorithms and evaluate its effectiveness on continuous-control benchmarks, including MuJoCo, the DeepMind Control Suite, and a real-world dynamic object translation task with a robotic manipulator. Experimental results demonstrate that this simple mechanism improves learning performance over standard and self-imitation-based baselines.

arXivで原文を読む →arXiv概要ページ

← 論文一覧