CIG-RL: 不確実な環境下での発生源推定のための好奇心駆動型情報誘導強化学習

本論文は、不確実な環境下でのガス源特性推定（Source Term Estimation, STE）のための、好奇心駆動の情報誘導型強化学習フレームワーク（CIG-RL）を提案している。モバイルセンサを用いたSTEにおいて、深層強化学習（DRL）エージェントがノイズを含む測定シーケンスから更新される信念状態に基づいて行動を選択する。提案手法は、訓練中に十分に探索されていない新しい信念状態遷移への能動的探索を促進する好奇心駆動機構と、不確実性に適応した能動的知覚報酬を導入し、高ノイズ環境下でのロバストで効率的なSTEを実現する。

従来の情報理論的アプローチはノイズ環境にロバストだが、オンラインの行動選択に高い計算コストがかかる。一方、DRLベースのSTEは高速な意思決定が可能だが、既存手法はランダム探索や信念不確実性の低減のみに依存し、効果的な探索戦略が欠如しており、ノイズ環境でのポリシーのロバスト性が限定的である。提案手法は、好奇心駆動の探索と不確実性適応型の能動的知覚報酬を組み合わせることで、このギャップを埋め、ロバスト性と効率性を向上させている点が新しい。

手法の肝は、好奇心駆動の探索機構と不確実性適応型の能動的知覚報酬の導入である。好奇心駆動機構は、訓練中に未探索の信念状態遷移を能動的に探索するようエージェントを促す。不確実性適応型の能動的知覚報酬は、不確実性の高い状況下で効率的なソース探索を導く。これらをDRLフレームワークに統合し、信念状態に基づく行動選択を強化する。

高ノイズ条件下でのシミュレーションと実世界実験を実施し、提案フレームワークのロバスト性と実現可能性を検証した。シミュレーションでは高ノイズ環境での性能を評価し、実世界実験では実環境での適用可能性を示した。具体的な評価指標や比較対象は要旨からは不明。

要旨からは、提案手法が高ノイズ環境でのロバスト性と実世界での実現可能性を示したと述べられているが、既存手法との定量的な比較や、計算コスト、限界、一般化可能性などの詳細な議論は不明。また、好奇心駆動機構の設計や報酬設計の理論的裏付け、ハイパーパラメータ感度なども要旨からは不明。

要旨で参照されている情報理論的アプローチ（Information-theoretic approaches）や既存のDRLベースSTE手法、および好奇心駆動強化学習（curiosity-driven RL）の関連研究が挙げられる。具体的には、情報理論的STEの基礎論文や、DRLを用いたSTEの先行研究、好奇心駆動探索の代表的な手法（例：Intrinsic Curiosity Module）などが関連する。