予測シールディングによる分散型安全マルチエージェント強化学習
Decentralized Safe Multi-Agent Reinforcement Learning via Predictive Shielding
複数ロボットが独立にタスクを実行する環境で、訓練時と異なる状態に直面しても安全に適応できるよう、予測シールディングとモデルベースの有限地平Q学習を組み合わせた分散型フレームワークを提案した。対称シナリオでのライブロックを緩和する通信不要のプロトコルも導入している。
著者: Yacine El Yamani, Hanna Krasowski, Elena Vanneaux
分類: eess.SY, cs.AI, cs.MA, cs.RO
原文アブストラクト
Environments are increasingly populated by multiple robots performing independent tasks with limited prior knowledge of each other. Deploying such multi-agent systems presents significant challenges. Specifically, shifts in deployment states compared to training data can lead to poor policy performance and compromised safety. While safety shields exist to mitigate these risks, they are typically reactive, which degrades performance near unseen obstacles,and centralized, limiting their scalability. To address this, we propose a decentralized framework that integrates predictive shielding with model-based finite horizon Q-learning. This approach allows agents to safely adapt their pre-trained policies during deployment. Furthermore, to mitigate livelocks in symmetric scenarios, we introduce a communication- free protocol for conflict resolution
関連論文
- MARS-RA: マルチモーダル比較による具現化マルチエージェント協調におけるクレジット割り当てのためのランク集約マルチエージェント強化学習
- Dreamer-CPC: 世界モデルを用いたメッセージ学習による分散型マルチエージェント強化学習マルチエージェント強化学習
- マルチエージェントデモから暗黙の因果世界モデルを学習するマルチエージェント強化学習
- 通信喪失下でのロバストなマルチエージェント協調のための価値認識予測マルチエージェント強化学習
- 遅延を考慮した能動三角測量：不確実性駆動型マルチエージェント強化学習による対UAS応用マルチエージェント強化学習
- 個別制御バリア関数ガイド拡散モデルによる安全なオフラインマルチエージェント強化学習マルチエージェント強化学習