オフライン強化学習の能動的データ収集手法、追加オンライン試行を最大75%削減

何が起きたか

arXivに2024年12月17日付で公開された論文(識別番号2412.13106v2)において、研究チームはオフライン強化学習における能動的学習手法を提案した。この手法は、未知の行動ポリシーによって収集された既存のオフラインデータを再利用し、追加の経験軌跡を最小限に収集することで、オンライン環境との相互作用を削減する。実験では、Gym-MuJoCoの移動環境、Maze2d、AntMaze、CARLA、IsaacSimGo1などの多様な連続制御環境において、競合ベースラインと比較して追加のオンライン試行を最大75%削減できるとしている。

詳細

強化学習エージェントは、逐次意思決定タスクで最適な学習を行うために、探索と活用のジレンマを継続的に解決する必要がある。しかし、オンライン環境との相互作用は高コストであり、エージェントと環境の相互作用に予算制限があったり、状態空間の特定領域での探索が制限されたりする場合がある。具体例として、医療試験の候補者選定や複雑なナビゲーション環境でのエージェント訓練が挙げられる。 この問題に対処するため、本研究では、既存のオフラインデータを補完する軌跡を収集する能動的強化学習手法を提案している。広範な実験により、提案手法がGym-MuJoCoの移動環境、Maze2d、AntMaze、CARLA、IsaacSimGo1などの連続制御環境において、競合ベースラインと比較して追加のオンライン試行を最大75%削減することを実証した。 著者らは、逐次意思決定と強化学習の文脈で能動的学習問題に取り組んだ最初の研究であると主張している。

Key Facts

なぜ重要か

この研究は、オフライン強化学習におけるデータ効率の向上に寄与する可能性がある。オンライン試行の削減は、実世界での適用コストを低減し、医療やロボットナビゲーションなど、試行が高コストな領域での強化学習の実用化を後押しする。