確率的マルチショット軌道最適化：逐次局所方策評価による手法

本論文は、ロボティクスにおける軌道最適化の新しい手法として、Stochastic Multiple Shooting Trajectory Optimization via Sequential Local Policy Evaluationを提案している。これは、Model Predictive Path Integral control (MPPI)などの確率的単一射撃法の課題である、長いアクション系列での終端制約の満足におけるサンプル非効率性を改善するために、短い制御系列を局所フィードバックポリシーで接続する確率的多重射撃法である。また、ロールアウトのみから近似システムヤコビアンを合成できることを示し、ブラックボックスダイナミクスを持つモデルベース強化学習への適用可能性を高めている。

先行研究であるMPPIなどの確率的単一射撃法は、確率的ダイナミクスを扱え、モデル勾配がノイジーまたは利用不可な場合に有効だが、長いアクション系列では終端制約の満足に多くのサンプルと反復を要する。本手法は、多重射撃の枠組みを導入し、短い系列を局所フィードバックポリシーで接続することで、サンプル効率と終端集合への収束を改善している点が新しい。さらに、ロールアウトのみからヤコビアンを近似する手法により、モデル勾配を必要としない点も優れている。

手法の核は、最適化問題を複数の短い制御系列に分割し、各系列を局所フィードバックポリシーで接続することである。これにより、各系列の長さが短くなり、終端制約の伝播が効率的になる。また、ロールアウトから近似システムヤコビアンを合成する手法を導入し、モデル勾配を必要とせずにポリシー評価を行う。具体的には、Sequential Local Policy Evaluationにより、各セグメントのポリシーを評価し、全体の軌道を最適化する。

3つの非線形・劣駆動最適化問題で検証している。1つ目は解析的ダイナミクスを持つ古典的なcartpole swingupタスク、2つ目は学習されたニューラルネットワークダイナミクスを持つcartpole swingupタスク、3つ目はVTOL quadplaneの高迎角・精密ポストストール着陸マヌーバである。これらの問題で、提案手法がサンプル効率と終端集合への収束を改善することを実証した。

要旨からは、提案手法の限界や欠点についての議論は不明である。ただし、ロールアウトからのヤコビアン近似は近似誤差を含む可能性があり、その影響については議論の余地がある。また、局所フィードバックポリシーの設計や、多重射撃のセグメント数などのハイパーパラメータ選択が性能に影響する可能性が考えられるが、要旨には明記されていない。

要旨で参照されている関連手法として、Model Predictive Path Integral control (MPPI)が挙げられる。また、モデルベース強化学習やブラックボックスダイナミクスに関する研究、および多重射撃法の基礎となるMultiple Shooting法に関する論文が関連する。具体的には、MPPIの原論文や、多重射撃最適化の古典的論文（例：Bock & Plitt）が次に読むべき候補である。