日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
オフロードナビゲーション/階層型計画制御/MPPI/強化学習arXiv:2610.38731

価値関数誘導MPPIによるオフロード自律ナビゲーションの階層型計画・制御

Value Function-Guided MPPI for Hierarchical Planning and Control in Off-Road Autonomous Navigation

シェア:XThreadsFacebookLINEはてブBluesky

強化学習コントローラの価値関数を暗黙的なコストとしてMPPIプランナに組み込み、計画と制御を双方向に連携させる階層型フレームワークを提案。オンライン方策評価で分布シフトに適応し、オフロード走行シミュレータで有効性を示した。

詳しい要約

1. どんなもの?

- 本研究は、off-road 自律ナビゲーションのための階層的な planning and control フレームワークである。 - 最上位に MPPI 制御スタイルの planner を置き、optimal trajectories を決定して waypoints を下位層へ渡す。 - 下位層は pretrained な reinforcement learning (RL) controller であり、その value function を planner の暗黙的コスト表現として用いる。 - 従来の一方向の情報流ではなく、下位 controller が planning レベルの trajectory selection を導く双方向の情報流を特徴とする。 - 高忠実度の off-road driving simulator で評価される。

2. 先行研究と比べてどこがすごい?

- 従来の階層型 off-road ナビゲーションは、明示的な cost map と、high-level planner から low-level controller への一方向の情報流に依存し、planning が制御時の真の実行コストから切り離されていた。 - 本研究は、RL controller の value function を暗黙的コストとして用いることで、明示的な cost map を不要にする。 - さらに双方向の情報流により planning と control の結合をより緊密にする点が先行研究と異なる。 - 具体的な先行研究名や定量的比較は要旨からは不明。

3. 技術・手法の肝は?

- 最上位は MPPI 制御スタイルの planner で、optimal trajectories を決定し waypoints を下位層へ渡す。 - MPPI planner は明示的な cost map ではなく、pretrained な RL controller の value function を暗黙的コスト表現として利用する。 - MPPI は trajectory exploration mechanism として機能し、low-level controller の value function が探索を導く。 - 訓練と評価の間の distribution shift に対処するため、online policy evaluation プロセスを提案し、value function を未見の走行経験に適応させる。 - この適応を未見の off-road simulation 環境で実証する。

4. どうやって有効だと検証した?

- 高忠実度の off-road driving simulator を用い、様々な困難な地形条件で評価する。 - baseline の MPPI controller と性能を比較する。 - 結果として、明示的な cost map を不要にしつつ、goal locations へのより安全で効果的なナビゲーションを達成し、planning と control のより緊密な結合を可能にすることを示す。 - 具体的な指標や数値は要旨からは不明。

5. 議論はある?

- value function は訓練と評価の間で distribution shift を受けるため、online policy evaluation により未見の走行経験へ適応させる必要がある点が議論の対象。 - 明示的な cost map を排除し、planning と control をより緊密に結合する設計の有効性が示唆される。 - 具体的な限界や失敗事例、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられている baseline の MPPI controller に関する研究。 - 階層型 off-road 自律ナビゲーションにおける high-level planner と low-level controller の構成に関する研究。 - reinforcement learning controller の value function を用いた planning に関する関連手法。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anoushka Alavilli, Raymond Song, Guanya Shi, Jeff Schneider

分類: cs.RO

原文アブストラクト

Autonomous navigation in off-road terrain is commonly achieved using hierarchical control and planning architectures that rely on explicit cost maps and one-way information flow from a high-level planner to a low-level controller, decoupling planning from the true execution cost experienced during control. We propose a hierarchical planning and control framework in which information flows bidirectionally, allowing the low-level controller to guide trajectory selection at the planning level. The highest level of the hierarchy is a Model Predictive Path Integral (MPPI) control-style planner that determines optimal trajectories and passes these waypoints to a pretrained low-level reinforcement learning (RL) controller. Rather than drawing from an explicit cost map, our MPPI planner leverages the value function of the RL controller as an implicit cost representation. In this formulation, MPPI serves as a trajectory exploration mechanism, while the low-level controller's value function guides the search. To account for the distribution shift seen by the value function between training and evaluation, we propose an online policy evaluation process that adapts the value function to unseen driving experiences, and we demonstrate this adaptation in unseen off-road simulation environments. We evaluate our approach in a high-fidelity off-road driving simulator across a range of challenging terrain conditions and compare its performance against a baseline MPPI controller. The results demonstrate that our method achieves safer and more effective navigation to goal locations while eliminating the need for explicit cost maps and enabling tighter coupling between planning and control.

PR本紙発行元 EmplifAI