強化学習のサンプル効率を高める「Instant Episode Repetition」、arXivで発表

何が起きたか

2026年8月18日にarXivで公開された論文「Repetition as Reinforcement: Enhancing Sample Efficiency via Instant Episode Repetition in Reinforcement Learning」は、強化学習のサンプル効率を高める新機構「Instant Episode Repetition (IER)」を提案した。IERは、高報酬エピソードを識別すると、その行動系列を一定回数繰り返すことで、環境との再相互作用を通じて価値ある行動を強化する。この機構はSACおよびTD3アルゴリズムに統合され、MuJoCo、DeepMind Control Suite、ロボットマニピュレータによる実世界の動的物体並進タスクで評価された。

詳細

IERは、人間の学習における反復の基本原理に着想を得ている。人間は成功体験を繰り返し経験することで記憶を強化し、スキルを定着させるが、IERはこの生物学的原理を模倣する。従来のExperience ReplayやSelf-Imitation Learning (SIL)は、訓練更新中に過去の経験を受動的に再利用するのに対し、IERはデータ収集プロセスに直接影響を与える点が特徴である。具体的には、高報酬エピソードを検出すると、その行動系列をその後のエピソードで固定回数繰り返す。 実験では、IERをSACおよびTD3に統合し、連続制御ベンチマークで評価した。その結果、標準的なベースラインや自己模倣ベースのベースラインと比較して、学習性能が向上したと報告されている。

Key Facts

なぜ重要か

強化学習におけるサンプル効率の向上は、実世界応用への重要な課題である。IERは、データ収集プロセスに直接介入するシンプルな機構でありながら、既存のアルゴリズムに容易に統合できる可能性がある。この研究は、サンプル効率改善の新たなアプローチを示すものであり、今後の強化学習研究に影響を与える可能性がある。