報酬構造が強化学習におけるエピソード探索と神経記憶の相互作用を形成する

部分観測可能な強化学習（RL）において、探索ボーナスとニューラルメモリアーキテクチャの相互作用を、メモリ内容の獲得方法が異なる3つの環境で体系的に調査した研究。探索と記憶は従来別々に評価されてきたが、同一のボーナス信号が環境の報酬構造に応じて異なる相互作用パターンを示すことを明らかにし、報酬のスパース性を構造的スパース性と潜在的スパース性に分離する形式的枠組み（observation-anchored reward machines）を提案している。

従来研究では探索ボーナスとメモリアーキテクチャを個別に評価し、その相互作用は未測定だった。また、スパース報酬の定義が時間的信号密度と報酬が実際に監督する内容を混同していた。本研究は、両者を交差させた統制実験により、報酬構造（密度ではなく内容）が相互作用パターンを決定することを示し、スパース性の新たな形式化を提供する点が新しい。

手法の肝は、3つの環境（メモリ内容の能動的発見・教師なし保持が必要な環境、単一の報酬教師付き手がかりを探索する環境、観測ストリームが純粋にスケジュールされた環境）を設計し、探索ボーナス（episodic exploration bonus）と多様なニューラルメモリアーキテクチャを交差させた統制比較を行う点。さらに、報酬操作（高密度報酬、小さな回避可能なペナルティ）により報酬構造の影響を検証し、observation-anchored reward machinesを用いて構造的スパース性と潜在的スパース性を形式的に分離する。

同一のボーナス信号が3つの環境で異なる相互作用パターンを示すことを実証した。具体的には、メモリ内容の能動的発見が必要な環境ではアーキテクチャの容量差を増幅し、単一の報酬教師付き手がかりの環境ではアーキテクチャを共通の上限に等化し、観測がスケジュールされた環境では効果が無効になることを確認。また、報酬操作により、高密度報酬は必要な潜在メモリを直接監督する場合のみボーナスを無効化し、小さな回避可能なペナルティは最適解を変えずに準最適な定常状態への収束を引き起こし、ボーナスがそれを解決することを示した。

要旨からは、探索と記憶は補完的であり、ボーナスは露出を誘発し、記憶だけが露出をリターンに変換するという主張がなされている。しかし、具体的な議論や限界（例えば、環境の一般性、実世界への適用可能性、計算コストなど）については要旨からは不明。

要旨で参照されている関連研究として、episodic exploration bonuses、neural memory architectures（例：LSTM、Transformer）、partially observable reinforcement learning、reward machinesに関する論文が挙げられる。具体的には、探索ボーナスに関する先行研究（例：Random Network Distillation）やメモリアーキテクチャ（例：Memory-Augmented Neural Networks）の論文が関連するが、要旨に明示的な引用がないため、同分野の定番論文を一般名で示す。