スパースな安全オフライン強化学習向けコスト推定フレームワーク「RCI」を提案

何が起きたか

安全オフライン強化学習（Safe offline RL）では通常、各ステップごとのコスト注釈が必要とされるが、実際の監督者は軌道レベルの停止フィードバック（最初の不安全な遷移でのバイナリ信号）のみを提供することが多い。この問題を時間的クレジット割り当て問題として捉え、スパースな停止フィードバックを密なステップ別コストに変換するフレームワーク「Redistribution-based Cost Inference (RCI)」が提案された。

詳細

RCIは、リターン分解を利用してスパースな停止フィードバックを密なステップ別コストに変換し、拡張データセット上で制約付きオフラインポリシーを訓練する。理論的には、リターン等価な再分配がCMDPにおける実行可能なポリシー集合と最適ラグランジアンを保存することを示し、変換が理論上損失がないことを確立した。さらに、実際にはコスト批評家の学習をより良い条件で行えるとしている。 実験は高速道路運転とロボット操作のタスクで行われ、スパースなベースラインや分類器ベースのベースラインと比較して、違反率が大幅に低いことを示した。また、異種のデータセット構成やラベルノイズに対する頑健性も確認された。

Key Facts

なぜ重要か

この研究は、実用的な安全オフライン強化学習の課題に対処するものであり、軌道レベルのフィードバックのみが利用可能な状況での安全性向上に寄与する。理論的な保証と実験的な有効性の両方を示すことで、今後の研究の基盤となる可能性がある。