iLQRに学習Criticを組み合わせたMPC手法を提案　GPU並列で数千軌道を評価

何が起きたか

arXivは2026-10-04、論文「Optimal Control with Learned Critics under Unmodeled State Dependencies」を公開した。論文は、接触を伴う課題など解析モデルで扱いにくい状態依存性に対して、学習ベースMPCの枠組みを提案している。名目の解析モデルに残差ダイナミクスネットワークを加え、さらに学習した行動価値CriticをiLQR最適化へ組み込む。

詳細

提案手法は、局所的なモデルベース計画のデータ効率と構造を保ちながら、不完全なダイナミクスと有限地平の近視眼性を補う設計である。論文によれば、残差ダイナミクスネットワークはデータから欠落した状態依存効果を学習し、Criticは長期のMDP構造を局所iLQR最適化に注入する。 また、実用化のためにGPU加速のバッチiLQRソルバーを開発し、学習済みダイナミクスとCriticネットワークを最適制御ループ内で評価する。システム全体はロボットシミュレータに統合され、数千の軌道最適化問題を並列に解けるとしている。実験では、バイアスのある制御課題と不完全にモデル化された制御課題で、閉ループ制御性能の改善を示したという。

Key Facts

本紙の見方

この論文の新しさは、MPCの枠組みを捨てずに、欠落した状態依存性だけを残差ダイナミクスネットワークで埋め、さらにCriticで長期情報を足した点にある。モデルフリー強化学習のように完全にモデルを捨てるのではなく、iLQRという構造化された最適化器を維持したまま、学習器を補助輪として差し込む構成である。したがって主題は「学習を入れたMPC」であり、単なる制御性能向上ではなく、モデルの穴と長期価値の両方を同時に扱う設計が焦点になる。 公開情報からは、論文が狙う構造が明確である。入力側では名目解析モデルを置き、その不足分を残差ダイナミクスで補う。処理側ではiLQRが局所最適化を担い、そこにCriticがMDP的な長期見通しを与える。出力側ではロボットシミュレータに統合され、GPU上で数千本の軌道を並列評価する。つまり、この手法は「学習モデル単独」ではなく、「解析モデル→残差補正→長期価値補正→並列最適化→シミュレータ実行」という連結構造で読める。 本紙の見方としては、これはロボット制御における計算基盤の話でもある。GPU並列で数千の軌道最適化を回すには、学習済みネットワークの評価をiLQRループに埋め込める実装が要るため、性能の鍵は制御理論そのものだけでなく、推論と最適化の同居にある。もっとも、論文要旨だけでは、どの程度のタスク群に一般化するのか、残差ダイナミクスとCriticの学習データ量、iLQRの反復回数、並列化による実時間性がどこまで確保されたかは読み切れない。実験で示した「バイアスのある制御課題」と「不完全にモデル化された制御課題」の具体的な設定も、今後確認すべき点である。

なぜ重要か

論文が示すのは、接触や状態依存性の強いロボット制御でも、解析モデルを土台に残したまま学習器を追加する設計が有効になりうることである。これは、完全なモデル化が難しい場面で、制御の制約処理と学習ベースの補正を両立させたい研究者・開発者に関係する。

日本への影響

日本のロボティクス研究や産業制御では、接触を伴う操作や不完全モデルの課題が多いとみられ、この手法のように解析モデルと学習器を併用する設計は検討対象になりうる。とくにGPU並列の最適化ループを前提とするため、制御アルゴリズムだけでなく計算実装の整備が論点になる。