FAITH: 高次元システムのための実行可能性を考慮した安全フィルタ付き強化学習

- 安全強化学習のためのフレームワーク FAITH を提案する研究。 - 安全性とタスク性能を同一のポリシー目的関数で扱う従来手法に対し、安全フィルタを行動実行時に分離する。 - 解析的な安全関数や動力学モデルを必要とせず、model-free で最適な state-action safety value を近似する。 - 最小介入フィルタを feedforward network で amortize し、実行時に高速に安全行動を選択する。 - 実行可能な安全行動が存在しない場合、予測される peak harm が最小となる行動に近づける。 - double integrator、Safety Gym、29-DoF humanoid、実機 Unitree G1 humanoid で評価している。

- 従来の安全フィルタは解析的な安全関数と動力学モデルを必要とし、model-free な設定に適用しにくい。 - 標準的な最小介入フィルタは瞬時の行動偏差のみを最小化するため、長期的なタスクリターンに対して近視眼的である。 - 安全行動が存在しない場合、hard projection は定義できないという問題がある。 - FAITH は model-free で安全性を近似し、タスクポリシーの更新に競合する安全項を入れずに feasible constrained problem を回復する。 - 実行可能な行動がない場合でも、最小 peak harm の行動へ近づく点が従来と異なる。

- 最適な state-action safety value を近似する model-free な安全性評価を学習する。 - 最小介入フィルタを feedforward network で amortize し、実行時のフィルタリングを効率化する。 - タスクポリシーはフィルタ後の動力学を通してタスクリターンを最適化し、安全項との競合を避ける。 - 学習された安全条件を満たす行動がない場合、予測される peak harm が最小となる行動を選択する。 - これにより、実行可能な制約付き問題を競合項なしで解くことを目指す。

- double integrator の例で評価している。 - Safety Gym 環境で評価している。 - feasible-start violations がなく、かつ手法の中で最高のリターンを達成する。 - infeasible starts では最低の harm に匹敵する結果を示す。 - 29-DoF humanoid の Walking-Avoid で 99.95% の安全率を達成し、フィルタなしリターンの 97% を保持する。 - Push-Avoid では、バランスを犠牲にして保護領域から離れることを学習し、測定された安全率が最高となる。 - 同じポリシーを実世界の Unitree G1 humanoid でも実証している。

- 安全とタスク性能の競合を避ける設計が、高次元システムで有効であることを示す。 - 実行可能な安全行動が存在しない場合の挙動を、最小 peak harm として定義している。 - Push-Avoid ではバランスを犠牲にしてでも保護領域から離れる戦略を学習する点が議論の対象になり得る。 - 実機 Unitree G1 humanoid での実証があるが、詳細な安全性保証や限界については要旨からは不明。

- 要旨で参照・比較されている具体的な先行研究名は明示されていない。 - 関連手法として、安全強化学習の constrained policy optimization、安全フィルタ、minimal-intervention filter、hard projection が挙げられる。 - 同分野の定番として Safety Gym 環境や double integrator を用いた安全 RL の研究が次に読む候補となる。