歩行2026/8/24arXiv:2608.23204

誘導リーマン最適化（GuRO）：モデル予測制御と決定トランスフォーマーの橋渡し

Guided Riemannian Optimization (GuRO): Bridging Model Predictive Control and Decision Transformers

MPCの局所最適軌道予測で決定トランスフォーマーを誘導し、リーマン空間での曲率考慮最適化により非凸損失を効率的に学習する新しいフレームワークを提案。高次元四足歩行制御で既存手法を上回る性能を実証した。

詳しい要約

1. どんなもの？

本論文は、高次元・非線形システムにおける意思決定問題に対し、Model Predictive Control (MPC) と Decision Transformer を統合した新しいフレームワーク Guided Riemannian Optimization (GuRO) を提案する。MPC が局所最適軌道の予測を提供し、Decision Transformer の学習をガイドすることで、大規模なオフライン事前学習を不要にする。さらに、非凸な損失関数の最適化を効率的に行うため、Riemannian パラメータ空間上で曲率を考慮した最適化手法を導入する。

2. 先行研究と比べてどこがすごい？

従来のモデルベース手法 (MPC) はサンプル効率と解釈性に優れるが、モデル誤差や長期予測で性能が低下する。モデルフリー強化学習 (RL) は直接方策を学習するが、サンプル複雑性が高く最適化が不安定である。近年の transformer ベースの意思決定フレームワークは MPC と RL を統合できるが、非凸な損失関数により最適化が困難である。GuRO は MPC によるガイドで事前学習を不要にし、Riemannian 最適化で非凸問題を効率的に解く点が新しい。

3. 技術・手法の肝は？

手法の核は、MPC が生成する局所最適軌道を Decision Transformer の学習信号として利用し、方策を Riemannian パラメータ空間で訓練することである。具体的には、曲率を考慮した Riemannian 最適化手法を用いることで、従来のユークリッド空間での最適化に比べて収束が速く、よりロバストな最適化を実現する。これにより、非凸な損失関数の課題を緩和する。

4. どうやって有効だと検証した？

高次元の四足歩行制御タスクで評価し、TRPO、SAC、Online Decision Transformer などの強力なベースラインと比較して、より高いリターンと速い収束を達成したことを示した。

5. 議論はある？

要旨からは、提案手法の限界や特定の条件下での性能低下などについての議論は不明である。また、MPC のモデル精度への依存度や、Riemannian 最適化の計算コストに関する詳細も要旨には含まれていない。

6. 次に読むべき論文は？

要旨で参照されている関連手法として、TRPO、SAC、Online Decision Transformer が挙げられる。また、MPC と RL の統合に関する基礎的な研究として、Model Predictive Control と Reinforcement Learning のハイブリッド手法に関する論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hossein Abdi, Satya Prakash Dash, Mingfei Sun

分類: cs.RO

原文アブストラクト

Decision-making in high-dimensional, nonlinear systems remains a central challenge in robotics. While model-based methods like Model Predictive Control (MPC) offer sample efficiency and interpretability, their performance degrades when the dynamics model is inaccurate or long-horizon predictions are required. Conversely, model-free reinforcement learning (RL) learns policies directly from interaction but suffers from high sample complexity and unstable optimization. Recent advances in sequence modeling have inspired transformer-based decision-making frameworks that can unify MPC and RL, but their training typically faces significant optimization challenges due to highly non-convex loss landscapes. In this work, we propose a novel framework that integrates MPC with RL in a sequence decision-making framework and leverages a curvature-aware optimization to efficiently tackle non-convex loss landscapes. MPC provides predictions of locally optimal trajectories that guide the decision transformer, removing the need for extensive offline pretraining. To address the slow and unstable convergence of traditional optimizers, we train the policy in a Riemannian parameter space using an efficient Riemannian (curvature-aware) method, leading to faster and more robust optimization. We evaluate our framework on high-dimensional quadruped control tasks and demonstrate consistent improvements over strong baselines, including TRPO, SAC, and Online Decision Transformer, achieving higher returns and faster convergence.

arXivで原文を読む →arXiv概要ページ