非マルコフ報酬モデリングによる強化学習の新フレームワーク「CoDeTr」を提案

何が起きたか

研究チームは、強化学習における遅延報酬の新たな問題設定「RLCoDe」を導入し、これを解決するためのフレームワークとTransformerベースの手法「CoDeTr」を提案した。論文は2024年10月26日にarXivで公開された。CoDeTrは、非マルコフ成分の重み付き和を用いて複合遅延報酬をモデル化し、系列内注意機構を組み込むことで、各ステップの貢献度を捉える。実験では、観測可能なステップ報酬の複合関数から計算される遅延報酬を用いた移動タスクで、CoDeTrが評価指標においてベースライン手法を一貫して上回った。

詳細

従来の遅延報酬を用いた強化学習では、基礎となるマルコフ報酬が存在し、観測される遅延報酬が単純にステップ報酬の合計であると仮定していた。しかし、この仮定は現実のシナリオと一致しないことが多い。本研究では、この強い仮定を排除し、遅延報酬が系列全体の貢献を反映するより複雑な構造から生じる可能性があると指摘する。提案フレームワークでは、複合遅延報酬を非マルコフ成分の重み付き和としてモデル化し、各ステップの異なる貢献を捉える。CoDeTrは、このフレームワークに基づき、系列内注意機構を導入してこれらの貢献を効果的にモデル化する。実験結果は、CoDeTrが評価された指標でベースライン手法を一貫して上回ることを示し、さらに系列内の最も重要なタイムステップを特定し、環境フィードバックを反映する報酬を正確に予測できることを実証した。

Key Facts

なぜ重要か

この研究は、遅延報酬の仮定を緩和し、より現実的な報酬構造を扱うことで、強化学習の適用範囲を広げる可能性がある。提案手法CoDeTrは、複雑な報酬構造を持つタスクでの性能向上を示し、今後の強化学習研究に影響を与えると期待される。