安全制御2026/8/5arXiv:2608.04732v1

適応的経験再生とオンライン不確実性推定を統合した安全なアクター・クリティック最適制御

Toward Integrating Adaptive Experience Replay and Online Uncertainty Estimation in Safe Actor-Critic Optimal Control

安全なアクター・クリティック制御において、不確実性推定、バリアフィルタ、経験再生を統合するアーキテクチャを提案し、ロボットナビゲーションタスクで性能を評価した。

詳しい要約

1. どんなもの？

本論文は、安全なactor-critic最適制御において、barrier filtering、uncertainty estimation、experience replayを個別モジュールとして扱うのではなく、統合アーキテクチャを提案する。具体的には、uncertainty estimateがcontrol barrier functionの障害物形状を更新し、filter介入と推定残差がreplay priorityを決定し、criticはnominal actionではなく実行されたactionから学習する。2次元ロボットナビゲーションタスクで、破損した障害物計測を用いて検証する。

2. 先行研究と比べてどこがすごい？

従来のsafe actor-critic制御では、barrier filtering、uncertainty estimation、experience replayは別々に扱われ、それぞれが学習と制御に使うデータを変えるにもかかわらず、相互の連携が考慮されていなかった。本研究は、これらを統合し、推定不確実性が安全フィルタの障害物形状に影響し、フィルタ介入と推定残差がリプレイ優先度を決めるという相互依存関係を明示的にモデル化した点が新しい。

3. 技術・手法の肝は？

手法の核は、統合アーキテクチャの設計にある。uncertainty estimateはcontrol barrier functionの障害物形状を更新し、filter介入と推定残差はexperience replayの優先度を決定する。また、criticはnominal actionではなく実行されたactionから学習することで、安全フィルタの影響を学習に反映する。さらに、有限訓練バウンドがreplay exposureを明確化し、ロバストなbarrier条件が推定誤差と実現可能性の仮定を述べている。

4. どうやって有効だと検証した？

2次元ロボットナビゲーションタスクで、破損した障害物計測を用いて、6つのコンポーネント対応構成を比較した。共通の訓練予算、ランダムシード、センサストリーム、探索、外乱の下で評価。中程度の訓練後テスト、11レベルの知覚ノイズスイープ、乗数6.0の極端ストレステストを含む。極端テストでは、統合構成は5シード全てで接触なしでゴール到達、平均コスト7.63±0.44、障害物信念RMSE 3.52±0.55 cm。不確実性推定アブレーションも接触なしだが、5シード中4でゴール到達、平均コスト8.96±2.08、信念誤差11.08±1.23 cm。

5. 議論はある？

結果は、このベンチマークにおいて推定、安全フィルタリング、リプレイの結合を支持するが、より広範な安全性と収束性の主張にはさらなる研究が必要と述べている。また、不確実性推定アブレーションも接触なしでゴール到達したが、コストと信念誤差が大きいことから、統合の利点は示唆されるが、限定的な検証である。

6. 次に読むべき論文は？

要旨からは、関連研究としてsafe actor-critic、control barrier function、uncertainty estimation、experience replayの各分野の論文が挙げられる。具体的には、barrier filteringの基礎となるcontrol barrier functionの研究、uncertainty estimationの手法、experience replayの優先度付けに関する研究が次に読むべきであろう。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mahshad Rastegarmoghaddam, Davoud Nikkhouy, Shima Samadzadeh

分類: eess.SY, cs.AI, cs.RO

原文アブストラクト

Safe actor-critic control often treats barrier filtering, uncertainty estimation, and experience replay as separate modules, even though each changes the data used for learning and control. We develop an integrated architecture in which the uncertainty estimate updates the obstacle geometry used by a control barrier function, filter interventions and estimation residuals determine replay priority, and the critic learns from the executed rather than nominal action. We instantiate the architecture on a two-dimensional robot-navigation task with corrupted obstacle measurements and compare six component-matched configurations under common training budgets, random seeds, sensor streams, exploration, and disturbances. Evaluation includes a moderate post-training test, an eleven-level perception-noise sweep, and an exploratory extreme-stress test at multiplier $6.0$. In the extreme test, the integrated configuration recorded no contacts and reached the goal in all five evaluation seeds. Its mean cost was $7.63\pm0.44$ and its obstacle-belief root-mean-square error was $3.52\pm0.55$ cm. The uncertainty-estimation ablation also recorded no contacts but reached the goal in four of five seeds, with mean cost $8.96\pm2.08$ and belief error $11.08\pm1.23$ cm. A finite-training bound clarifies replay exposure, and a robust barrier condition states the required estimation-error and feasibility assumptions. The results support coupling estimation, safety filtering, and replay on this benchmark; broader safety and convergence claims require further study.

arXivで原文を読む →arXiv概要ページ

← 論文一覧