モデル予測制御2026/9/1arXiv:2609.00941v1

ProxPI: 学習済み事前分布の不一致下でのサンプリングベースMPCに対する近接事前分布注入

ProxPI: Proximal Prior Injection for Sampling-Based MPC under Learned-Prior Mismatch

学習済みポリシーとMPCを組み合わせる際、事前分布が不正確な場合にサンプリング分布をポリシー出力に中心化する既存手法の問題を指摘し、名目中心のサンプリングを維持しつつポリシーを近接コストとして組み込むProxPIを提案。理論と実験で性能回復を実証。

詳しい要約

1. どんなもの？

ProxPIは、学習済みポリシーをMPPI（Model Predictive Path Integral）制御に統合する際に生じる、ポリシーが分布外（out-of-distribution）である場合の性能劣化を解決する手法を提案する。従来のポリシー誘導MPPIでは、サンプリング分布をポリシー出力にセンタリングするが、ポリシーが不正確な場合、探索が不適切な解に制限され、タスク最適解への回復が妨げられる。ProxPIは、サンプリング分布をノミナル（タスクコスト）中心に維持しつつ、ポリシーをソフトな近接コスト（proximity cost）として組み込むことで、ポリシーの分布内性能を維持しつつ、不正確なポリシーから脱出してバニラMPPIと同等の性能を達成する。

2. 先行研究と比べてどこがすごい？

既存のポリシー誘導MPPI（特にポリシー中心のウォームスタート）は、ポリシーが分布外の場合にサンプリング分布をポリシー出力にセンタリングするため、探索が不適切な解に制限され、タスク最適解への回復が妨げられる。ProxPIは、ノミナル中心のサンプリングを維持し、ポリシーをソフトな近接コストとして組み込むことで、分布内性能を維持しつつ、分布外でもバニラMPPIレベルの性能を回復できる点が新しい。理論的にも、ポリシーへの再センタリングが毎更新でオプティマイザの修正を破棄するのに対し、ノミナル中心のサンプリングは修正を保持し、タスクコストとポリシーの両方で定義される解集合に収束することを示した。

3. 技術・手法の肝は？

ProxPIの核心は、MPPIのサンプリング分布をノミナル（タスクコスト）中心に保ち、ポリシーをソフトな近接コスト（proximity cost）として目的関数に追加することである。具体的には、サンプリングされた軌道のコストに、ポリシー出力との距離に基づくペナルティ項を加える。これにより、ポリシーが分布内の場合はその出力に近い軌道が優先され、分布外の場合はタスクコストが支配的になり、ポリシーから逸脱して最適解を探索できる。理論的には、再センタリング方式がオプティマイザの修正を毎回破棄するのに対し、ノミナル中心方式は修正を保持し、タスクコストとポリシーの両方で定義される解集合に収束することを示した。また、ロールアウト予算を増やしてもこの失敗は解消されないことも理論的に示した。

4. どうやって有効だと検証した？

シミュレーションと実ロボット実験の両方で、分布内（in-distribution）および分布外（out-of-distribution）のタスクにおける性能を評価した。既存のポリシー誘導MPPI方式と比較し、ProxPIが分布内では同等の性能を達成し、分布外ではバニラMPPIレベルの性能を回復することを実証した。具体的な実験設定や数値結果は要旨からは不明だが、理論的解析と実験により有効性を検証している。

5. 議論はある？

要旨からは、ProxPIの理論的保証はタスクコストとポリシーの両方で定義される解集合への収束を示すが、その解集合が常にタスク最適解を含むとは限らない可能性がある。また、近接コストの重み（ハイパーパラメータ）の調整が性能に影響する可能性が考えられるが、要旨では言及されていない。さらに、実ロボット実験の詳細（タスクの種類、環境、比較ベースラインなど）が不明であり、議論の余地がある。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、policy-guided MPPI（ポリシー誘導MPPI）やmodel predictive path integral (MPPI)制御の基礎論文が挙げられる。具体的には、Williams et al.によるMPPIの原論文や、学習済みポリシーをMPCに統合する既存手法（例えば、policy-guided MPCやwarm-starting approaches）が関連する。また、分布外ロバスト性に関する研究や、学習とMPCの統合に関するサーベイも有用である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Euncheol Im, Myotaeg Lim, Yisoo Lee

分類: cs.RO, eess.SY

原文アブストラクト

Combining learned policies with model predictive control can leverage learned task priors while retaining online adaptation to new objectives and constraints, but performance degrades when the policy is out of distribution. In policy-guided model predictive path integral (MPPI) control, a policy-centered warm-start approach centers the sampling distribution on the policy output. When the prior is mismatched, centering the sampling distribution on the policy output restricts exploration around an unsuitable solution and prevents recovery toward the task optimum. We propose Proximal Prior Injection (ProxPI), which retains nominal-centered MPPI sampling and incorporates the policy through a soft proximity cost. This matches the in-distribution performance of existing prior-injection schemes while enabling the optimizer to escape an inaccurate policy and recover vanilla MPPI-level performance. We theoretically show that re-centering on the prior discards the optimizer's correction at every update, whereas nominal-centered sampling retains it and converges to a solution set by both the task cost and the prior, and that this failure is not removed by a larger rollout budget. Simulations and real-robot experiments demonstrate robust performance under both in-distribution and out-of-distribution tasks.

arXivで原文を読む →arXiv概要ページ