実世界RL/安全2026/10/22arXiv:2610.31829

安全な証拠付き実世界強化学習

SEVI: Safe Evidential Real-World Reinforcement Learning

実機ロボットのオンライン学習中に、将来の危険リスクと不確実性を同時推定して危険行動を回復ポリシーで差し替える安全介入フレームワークを提案し、USB挿入タスクなどで安全性と成功率を向上させた。

詳しい要約

1. どんなもの？

- 実世界強化学習（real-world RL）における安全介入フレームワーク SEVI（Safe Evidential Real-World Reinforcement Learning） - contact-rich manipulation を実機で直接学習する際の、オンライン学習中の不安全な相互作用を抑えることを目的とする - 実行前に各 action の安全性を評価し、危険または証拠不足なら offline 学習済み recovery policy で上書きする - 対象は simulated manipulation 2 タスクと real-world USB insertion タスク

2. 先行研究と比べてどこがすごい？

- 従来の recovery-based safe RL と比較して、unsafe events を 13.4〜57.1% 削減 - task-learning および safety-critic の baseline 群に対し、trajectory-level の安全予測・最終 task success・unsafe-event 数で最良 - 単一 forward pass で risk と epistemic uncertainty を同時推定する点が特徴（先行研究との詳細な差分は要旨からは不明）

3. 技術・手法の肝は？

- Evidential Safety Critic を導入 - 将来の constraint-violation risk と epistemic uncertainty を 1 回の forward pass で推定 - オンライン学習中、task-policy の action を実行前に評価 - 不安全と予測、または予測の証拠が不十分な場合に介入 - offline 学習済み recovery policy で上書きし、低リスク領域へ誘導 - 実行時フィルタリングは低レイテンシを維持

4. どうやって有効だと検証した？

- simulated manipulation 2 タスクと real-world USB insertion タスクで評価 - in-distribution と distribution-shifted の両条件で検証 - task-learning / safety-critic の baseline と比較し、trajectory-level 安全予測・最終 success・unsafe-event 数で優位 - recovery-based safe RL 比で unsafe events を 13.4〜57.1% 削減

5. 議論はある？

- 要旨からは不明（限界・失敗事例・計算コストの詳細な議論は記載なし） - 低レイテンシ実行時フィルタリングの維持には言及 - distribution shift 下での評価は行われているが、その詳細な分析は要旨からは不明

6. 次に読むべき論文は？

- recovery-based safe RL（比較対象として言及） - Evidential deep learning / evidential uncertainty estimation 関連手法 - safe RL における safety critic および shielding / intervention 手法 - real-world RL の contact-rich manipulation 研究（USB insertion 等の実機学習）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shaekh Mohammad Shithil, Lantao Liu

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Real-world reinforcement learning has enabled contact-rich manipulation tasks to be trained directly on physical robots, but unsafe interactions during online learning remain a key barrier to practical deployment. We propose Safe Evidential Real-World Reinforcement Learning (SEVI), a framework for reliability-aware safety intervention during real-world policy learning. SEVI introduces an Evidential Safety Critic that estimates both future constraint-violation risk and epistemic uncertainty in a single forward pass. During online learning, SEVI evaluates each task-policy action before execution; if the action is predicted to be unsafe or the prediction is insufficiently supported by evidence, SEVI overrides it with an offline-trained recovery policy that guides the robot toward a lower-risk region. We evaluate SEVI on two simulated manipulation tasks and a real-world USB insertion task under in-distribution and distribution-shifted conditions. Across task-learning and safety-critic baselines, SEVI achieves the strongest trajectory-level safety prediction, the highest final task success, and the lowest unsafe-event counts. SEVI also reduces unsafe events by 13.4 to 57.1 percent relative to recovery-based safe RL while preserving low-latency execution-time filtering. The project page is available at: https://sevi-safe.github.io/

arXivで原文を読む →arXiv概要ページ

← 論文一覧