強化学習による終端コスト推定を組み込んだ自動運転トラックの短期MPC

- 対象は heavy-duty truck の autonomous highway driving における制御問題 - 有限ホライズンの MPC と強化学習 (RL) を組み合わせた hybrid MPC-RL framework を提案 - 短い計算可能なホライズンで MPC を動かすため、pre-trained RL model を terminal cost 推定に用いる - dynamic programming で finite-horizon MPC を解く構成 - reactive な周囲交通を含む simulation 環境で評価

- 純粋な MPC は制約充足性に優れるが terminal cost 依存で短ホライズンでは性能が限られる - 純粋な RL は長期的運転行動を捉えるが制約保証がなく、sparse collision penalty 下では過度に保守的になりやすい - 提案手法は MPC の制約充足性と RL の長期推定を組み合わせる点が新しい - 比較対象は zero terminal cost の pure MPC、base policy による terminal cost 推定付き rollout、pure RL - hybrid が zero collisions かつ全構成中最低コストを達成したと報告

- finite-horizon MPC を dynamic programming で解く枠組みを採用 - terminal cost を pre-trained RL model で推定し MPC に組み込む - これにより短く計算負荷の低いホライズンでも long-horizon 意思決定の効果を取り込む - 安全性制約は MPC 側で扱い、長期行動の価値推定は RL 側で担う役割分担 - 詳細なネットワーク構成や学習アルゴリズムは要旨からは不明

- reactive surrounding traffic を備えた simulation 環境で評価 - 比較対象は pure MPC with zero terminal cost、rollout with terminal cost estimation using a base policy、pure RL - 評価指標として collision と cost を報告 - hybrid が zero collisions かつ最低コストを達成 - 具体的なシナリオ数や統計的有意性は要旨からは不明

- 短ホライズン MPC における terminal cost の重要性を示唆 - RL の保守性と MPC の制約保証のトレードオフを hybrid で緩和できる可能性 - 評価は simulation のみで実車検証は要旨からは不明 - reactive traffic のモデル化や RL terminal cost の汎化性に関する議論は要旨からは不明 - 計算コストの詳細比較は要旨からは不明

- terminal cost 推定を用いる rollout with a base policy に関する研究 - pure RL による highway driving の sparse collision penalty 下での保守性を扱う研究 - dynamic programming を用いた finite-horizon MPC の研究 - heavy-duty truck の autonomous highway driving に関する制御研究 - MPC と RL を統合する hybrid control の関連研究