強化学習/MPC2026/9/1arXiv:2609.01061v1

MPCソルバー勾配ガイダンスによる強化学習の加速：重み可変MPC向け

Accelerating Reinforcement Learning via MPC Solver-Gradient Guidance for Weights-varying MPC

モデル予測制御（MPC）のコスト重みを適応的に学習する際、強化学習のサンプル効率を向上させるため、微分可能MPCのソルバー勾配を補助ガイダンスとして利用するSG-RL手法を提案した。自動レースプラットフォームで最大70.6%のサンプル削減を実証した。

詳しい要約

1. どんなもの？

本論文は、Model Predictive Control (MPC) のコスト関数の重みをオンラインで適応させるポリシー学習を高速化する手法、Solver-Gradient Guided Reinforcement Learning (SG-RL) を提案している。MPCの重みは閉ループ挙動を決定するが、固定パラメータでは環境変化に適応できないため、文脈依存のオンライン適応が望まれる。SG-RLは、強化学習(RL)のサンプル効率の悪さと、勾配ベースのポリシー学習(GB-PL)のモデルミスマッチによるバイアスを同時に解決するため、RLの目的関数を維持しつつ、微分可能なMPCソルバーから得られる有界なソルバー勾配を補助的なガイダンスとして利用する。具体的には、Proximal Policy Optimization (PPO) にソルバー勾配を注入する4つのモジュールを提案している。

2. 先行研究と比べてどこがすごい？

先行研究では、RLは実環境のサンプルから閉ループリターンを最適化するがサンプル非効率であり、GB-PLは微分可能なMPCのソルバー勾配を用いて予測軌道上のサロゲート損失を最適化するが、モデルミスマッチがあるとバイアスが生じる。SG-RLは、RLの目的関数（サンプリングされた閉ループリターン）を維持しつつ、ソルバー勾配を補助ガイダンスとして用いることで、両者の利点を組み合わせ、サンプル効率とバイアス低減を両立している点が新しい。

3. 技術・手法の肝は？

SG-RLは、PPOをベースに、ソルバー勾配を4つのモジュールで注入する。具体的には、(1) actor-update scaling: ソルバー勾配のノルムに基づいて更新スケールを調整、(2) policy loss: ソルバー勾配をポリシー損失に補助項として追加、(3) advantage estimation: ソルバー勾配を用いてアドバンテージを補正、(4) value-function learning: ソルバー勾配を価値関数の学習に利用。ソルバー勾配は有界に制限され、RLの目的関数はそのまま保持される。

4. どうやって有効だと検証した？

2つのフルスケールの自動運転レーシングプラットフォームで、意図的なモデルミスマッチを導入して検証した。SG-RLは、PPOの最高の閉ループリターンに到達するまでのサンプル数を最大70.6%削減し、GB-PLベースラインと比較して閉ループリターンで少なくとも54%向上した。さらに、未見環境へのゼロショット汎化も確認された。

5. 議論はある？

要旨からは、SG-RLの理論的な保証や、ソルバー勾配の有界性の具体的な設定、4つのモジュールの組み合わせの効果の詳細は不明。また、モデルミスマッチの程度が大きい場合の性能劣化や、計算コストの増加についての議論は要旨に含まれていない。

6. 次に読むべき論文は？

要旨で参照されている関連手法として、Reinforcement Learning (RL)、Gradient-Based Policy Learning (GB-PL)、Proximal Policy Optimization (PPO)、Model Predictive Control (MPC) が挙げられる。次に読むべき論文としては、これらの基礎を詳述した論文や、SG-RLの詳細を述べた本論文のフルバージョンが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Baha Zarrouki, Arslan Thobani, Jasper Hoffmann, Mattia Piccinini, Rudolf Reiter, Felix Jahncke, Sébastien Gros, Davide Scaramuzza, Johannes Betz

分類: cs.RO, cs.LG, eess.SY

原文アブストラクト

In Model Predictive Control (MPC), cost-function weights shape closed-loop behavior, yet changing conditions often make fixed parametrizations suboptimal and motivate context-dependent online adaptation. Learning such policies is difficult because behavior depends implicitly on numerical MPC solutions, producing nonlinear, potentially nonsmooth, long-horizon dependencies on policy parameters. This creates a bias-variance tradeoff: Reinforcement Learning (RL) optimizes realized closed-loop return from environment samples but is sample-inefficient, whereas Gradient-Based Policy Learning (GB-PL) uses low-variance solver gradients from differentiable MPC to optimize surrogate losses on predicted trajectories but can be biased under model mismatch. We propose Solver-Gradient Guided Reinforcement Learning (SG-RL), a solver-sensitivity augmentation for RL-based online MPC cost-weight adaptation. SG-RL keeps sampled closed-loop return as the objective and uses bounded solver-derived gradients as auxiliary guidance to improve stability and sample efficiency. We instantiate SG-RL in Proximal Policy Optimization (PPO) with four modular algorithms that inject solver-gradient guidance into actor-update scaling, policy loss, advantage estimation, and value-function learning. On two full-scale autonomous racing platforms with intentional model mismatch, SG-RL reaches PPO's best closed-loop return with up to 70.6% fewer samples, outperforms GB-PL baselines by at least 54% in closed-loop return, and generalizes zero-shot to unseen environments.

arXivで原文を読む →arXiv概要ページ

← 論文一覧