再分配に基づくコスト推定によるスパース安全オフライン強化学習の改善

Safe offline RL の文脈で、従来は dense per-step cost のアノテーションを仮定していたが、実際の監督者は trajectory-level の stop-feedback（最初の unsafe transition での binary signal）しか提供しないことが多い。この問題を temporal credit assignment として捉え、Redistribution-based Cost Inference (RCI) フレームワークを提案する。RCI は sparse stop-feedback を return decomposition により dense per-step costs に変換し、その augmented dataset 上で constrained offline policy を訓練する。

従来の safe offline RL は dense cost を仮定するか、sparse cost を直接扱うが、per-step attribution が欠如している。RCI は return-equivalent redistribution を用いて、理論的に feasible policy set と optimal Lagrangian を保存することを示し、cost critic learning の条件を改善する。これにより、sparse や classifier-based baselines よりも violation rates を大幅に低減する。

RCI は return decomposition を用いて sparse stop-feedback を dense per-step costs に変換する。具体的には、return-equivalent redistribution を導入し、CMDP において feasible policy set と optimal Lagrangian を保存することを理論的に証明する。これにより、変換は理論的に lossless であり、実践的には cost critic learning の条件を改善する。

実験は highway driving と robotic manipulation のタスクで行われ、sparse および classifier-based baselines と比較して violation rates が大幅に低いことを示した。また、heterogeneous dataset compositions と label noise に対する robustness も検証された。

要旨からは、RCI の理論的保証は return-equivalent redistribution に依存しており、実際のデータ分布やノイズの影響については議論の余地がある。また、実験は特定のタスクに限定されており、他の領域での汎用性は不明。

要旨で参照されている関連研究として、return decomposition を用いた手法（例：Return Decomposition for Delayed Rewards）や、safe offline RL の既存手法（例：Constrained Policy Optimization, Offline RL with Safety Constraints）が挙げられる。具体的な論文名は要旨に明記されていないため、同分野の定番として 'Constrained Policy Optimization' や 'Offline Reinforcement Learning' の関連論文を読むことが推奨される。