Koopmanモデルに基づく強化学習

- 未知の非線形ロボット系を対象とした Koopman model-based reinforcement learning (K-MBRL) アルゴリズムの提案 - 制御方策を、解析的な即時コストと one-step 予測状態で評価した将来コスト推定の和からなる近似方策目的の最小化で学習 - 未知非線形ダイナミクスを stochastic Koopman operator に基づく線形表現で近似 - 残りの将来コストは critic 関数で推定 - 学習後の方策はオンライン最適化なしの feedforward 評価でリアルタイム制御が可能

- 古典的な model-free RL および model-based RL ベースラインと比較し、シミュレーションで高い sample efficiency と性能向上を示す - Koopman の線形ダイナミクスにより model 依存の policy gradient 計算が定数行列積に簡約され、計算効率の良い policy improvement が可能 - one-step model propagation により long-horizon rollout に伴う予測誤差の累積を緩和しつつ、critic を通じて長期コスト情報を保持 - 学習方策がオンライン最適化不要の feedforward 評価でリアルタイム制御できる点が特徴

- 未知非線形ダイナミクスを stochastic Koopman operator ベースの学習法で線形表現に近似 - 近似方策目的は、解析的即時コストと one-step 予測状態での将来コスト推定（critic 関数）の結合 - 線形 Koopman ダイナミクスにより model 依存 policy gradient を定数行列積へ簡約 - one-step model propagation を採用し、長期 rollout の誤差蓄積を回避しつつ critic で長期コストを保持 - 標準的な stochastic approximation 仮定の下で policy learning の収束保証を提示

- シミュレーションで HalfCheetah と quadruped four-legged locomotion タスクを実施し、model-free/model-based RL ベースラインと比較して sample efficiency と性能を評価 - pendulum swing-up タスクで policy gradient 近似精度を評価し、学習機構と主要ハイパーパラメータの ablation studies を実施 - 物理 quadruped robot で、二つの丸い後足で支えられた直立姿勢への起き上がり、二足歩行中のバランス維持、安全な接地復帰という一連の難動作を検証

- 要旨からは不明 - 収束保証は標準的な stochastic approximation 仮定の下での policy learning に関するもの - 実機検証は challenging な maneuver 系列で行われたが、議論・限界は要旨に明記されていない

- 要旨で参照/比較されている model-free reinforcement learning および model-based reinforcement learning のベースライン - stochastic Koopman operator に基づく学習法（関連手法として Koopman operator-based learning） - 同分野の定番として model predictive control (MPC) や deep reinforcement learning の関連研究も参照候補