安全な実行を超えて：価値校正と適応的ガイダンスによる自動運転のための安全なオンライン強化学習

オフライン初期化されたFlow-based運転ポリシーを、安全にオンラインfine-tuningする枠組みSOAR-Flowを提案する研究。CBF-MPCフィルタで実行前に危険行動を補正し、Cal-QLに基づくGaussian-return-aware value calibrationで安定更新を図る。paired corrective learningとintervention-to-go predictorにより補正依存を減らし、guidance強度を適応制御する。シミュレーションとUGVで評価する。

安全filterのみでは安定なpolicy改善や補正依存低減を保証できない。SOAR-FlowはCBF-MPC filterに加え、Cal-QLを拡張したvalue calibration、paired corrective learning、intervention-to-go predictorを統合し、補正依存の低下に応じてguidanceを弱めcalibration正則化も漸減する。これによりhard execution constraintsを保ちつつ継続的タスク改善を狙う点が先行研究と異なる。

CBF-MPC filterが実行前にunsafe actionを補正。Gaussian-return-aware value calibrationは記録されたbehavior returnと予測return variabilityを用い、conservative critic更新を平滑化しpolicy劣化を緩和。paired corrective learningでfeasible action調整を学習。intervention-to-go predictorが将来補正の少ない決定を促し、その予測でguidance強度を調整。calibration正則化を漸減。制御ステップでの安全実行条件と補助学習影響の減衰を解析。

シミュレーションとuncrewed ground vehicle (UGV)で評価。protected online fine-tuning中に運転性能が改善し、安全補正への依存が減少することを示す。デモ動画とプロジェクト概要が https://lzqw.github.io/SOAR-Flow/ で公開。

制御ステップでの安全実行条件と、補助学習の影響が減衰する条件を解析。hard execution constraintsを保ちながらタスク改善を続ける点を議論。ただし要旨からは、失敗事例や限界、計算コスト、実車での安全性保証範囲の詳細は不明。

Cal-QL、CBF、MPC、Flow-based policy、offline-to-online RL、safe RL、autonomous drivingの関連研究。要旨で参照/比較されている具体的論文名は不明。