日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
安全強化学習arXiv:2610.20255

後退ホライズン安全クリティックと微分可能アクションシールドによる安全強化学習

Safe Reinforcement Learning with Receding-Horizon Safety Critic and Differentiable Action Shields

シェア:XThreadsFacebookLINEはてブBluesky

ロボット強化学習において、将来の安全性を予測する後退ホライズン安全クリティックを学習し、微分可能なCBF型安全フィルタと組み合わせることで、四足歩行の外乱や地形変化に対する頑健性を向上させた。

詳しい要約

1. どんなもの？

- ロボット強化学習における安全性問題に対処する手法。 - 安全性違反は瞬間的でなく数ステップにわたって発生することに着目。 - Receding-horizon safety criticを学習し、将来のhorizon内で非終端状態が続くかを予測。 - 予測に基づき、微分可能なCBF-style safety filterで行動を最小修正。 - PPOに統合し、anticipation lossでpolicy-filter間の不一致を低減。 - 四足歩行のシミュレーションで評価。

2. 先行研究と比べてどこがすごい？

- 従来の安全RLは瞬間的な制約違反を扱うことが多いが、本手法はreceding horizonで予測的に安全性を評価。 - 学習したcriticから閉形式で微分可能なCBF-style safety filterを導出し、行動を最小限修正。 - アンサンブルとCVaRで不確実性を考慮。 - PPOにanticipation lossを組み込み、訓練時のpolicy-filter不一致を軽減。 - 先行研究と比べて、予測的で微分可能な安全フィルタを統合した点が新しい。

3. 技術・手法の肝は？

- Receding-horizon safety critic: 状態が次のhorizonで非終端であり続けるかを予測。 - 学習: rolloutから得たhorizonラベルを用い、horizon分類、CBF-inspired temporal consistency、smoothness regularizationの複合目的関数で訓練。 - アンサンブル: 複数のcriticをアンサンブルし、保守的なCVaR推定で不確実性を考慮。 - Safety filter: 学習したcriticに基づき、閉形式で微分可能なCBF-styleフィルタを導出し、予測安全性を改善するよう行動を最小修正。 - 統合: PPOに組み込み、anticipation lossでpolicyとfilterの不一致を低減。

4. どうやって有効だと検証した？

- シミュレーションによる四足歩行ロボットのlocomotionで検証。 - 行動ノイズ、外部擾乱、地形変化に対するロバスト性を評価。 - 壊滅的な失敗を減らしつつ、競争力のあるリターンを維持することを確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Safe Reinforcement Learning、Control Barrier Functions (CBFs)、PPO、Conditional Value at Risk (CVaR) などが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Siwei Ju, Jan Peters, Oleg Arenz

分類: cs.RO

原文アブストラクト

Despite the Markov assumption, safety failures in robot reinforcement learning rarely occur instantaneously; they typically emerge over several steps as the policy enters unfamiliar states under disturbances and domain shift. We address this limitation by learning a receding-horizon safety critic that predicts whether a state will remain non-terminating over the next receding horizon, enabling anticipatory detection of impending locomotion failures. The critic is trained from rollout-derived horizon labels with a composite objective that combines horizon classification, control-barrier-function-inspired temporal consistency, and smoothness regularization, and we aggregate an ensemble of critics with a conservative Conditional Value at Risk estimate to account for uncertainty. Building on the learned critic, we derive a closed-form, differentiable CBF-style safety filter that minimally modifies the policy action to improve predicted safety, and integrate it into PPO with an anticipation loss to reduce policy-filter mismatch during training. In simulated quadruped locomotion, our method improves robustness under action noise, external perturbations, and terrain shifts, reducing catastrophic failures while maintaining competitive returns.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI