自動運転2026/8/14arXiv:2608.14332

CORAL: カリキュラム最適化による報酬適応を用いたLiDARベースの目標指向型都市運転

CORAL: Curriculum-Optimized Reward Adaptation for LiDAR-Based Goal-Directed Urban Driving

都市自動運転のための強化学習において、段階的なカリキュラムと報酬重みの適応を組み合わせることで、長距離の目標指向ナビゲーション性能を大幅に向上させる手法を提案した。

詳しい要約

1. どんなもの？

CORALは、LiDARベースの目標指向型都市運転のための強化学習手法。CARLAシミュレータ上で、長距離の目標到達、経路追従、障害物回避、信号遵守など複数の競合する行動を同時に学習する問題に対し、5段階のカリキュラムと段階に応じた報酬重みの調整を導入する。ポリシーはmulti-stream actor-criticネットワークで、Proximal Policy Optimization (PPO)を用いて訓練される。入力は99次元の状態で、極座標LiDARヒストグラム、車両テレメトリ、ego-frame経路形状、交通ルール指標を含む。点群エンコーダやbird's-eye-viewラスタライズは用いない。

2. 先行研究と比べてどこがすごい？

従来の固定報酬を用いた強化学習では、複数の競合する行動を学習する順序が定まらず、長期的な目標指向ナビゲーションが困難だった。CORALは、カリキュラムと報酬重みの調整を同時に進めることで、学習の順序を構造化し、複雑なタスクを効率的に学習できる点が新しい。また、点群エンコーダやbird's-eye-viewを使わず、コンパクトな99次元状態表現で高い性能を達成している点も優れている。

3. 技術・手法の肝は？

手法の核心は、2つのスケジュールの同時進行にある。1つは5段階のカリキュラムで、経路長を徐々に延長し、行動制約を厳しくする。もう1つは段階認識型報酬で、タスクが難しくなるにつれて、報酬の成分重みをミッション進捗から経路追従、安全性、滑らかさ、ルール遵守へとシフトさせる。ポリシーはmulti-stream actor-criticネットワークで、入力は99次元の状態（極座標LiDARヒストグラム、車両テレメトリ、ego-frame経路形状、交通ルール指標）を使用する。

4. どうやって有効だと検証した？

CARLAシミュレータで、同一プロトコル下の2つのPPOベースラインと比較。最長経路かつ全行動制約下で、CORALは20エピソード全てで目標到達に成功し、ベースラインは5%と10%だった。因子実験では、カリキュラムと報酬調整のどちらか一方だけでは不十分で、両方を無効にすると成功率が55%に低下した。また、1つの街で訓練したポリシーを7つの未見の街にゼロショット転送し、100-150mの経路で68-98%の成功率、平均横偏差0.35m未満を達成した。

5. 議論はある？

要旨からは、カリキュラムと報酬調整の組み合わせが重要であることが示されたが、各段階の具体的な設計や報酬重みの調整則の詳細は不明。また、ゼロショット転送の成功率は街によってばらつきがあり、その原因や改善策については議論されていない。さらに、シミュレーションのみでの検証であり、実環境での有効性は不明。

6. 次に読むべき論文は？

要旨で参照されている研究は、PPOベースラインとCARLAシミュレータである。次に読むべき論文としては、CARLAを用いた自律運転の強化学習に関する研究（例: "CARLA: An Open Urban Driving Simulator"）や、カリキュラム学習を用いた強化学習の研究（例: "Curriculum Learning"）が挙げられる。また、目標指向ナビゲーションのための階層的強化学習や、報酬設計に関する研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Anisa Saleem, Duksu Kim

分類: cs.RO, cs.LG

原文アブストラクト

Reinforcement learning is promising for autonomous urban driving, but long-horizon goal-directed navigation asks a policy to acquire several competing behaviors at once--reaching a distant goal, tracking a route, avoiding obstacles, obeying signals--and a fixed objective gives no order in which to learn them. This paper presents CORAL, which advances two schedules together: a five-stage curriculum that progressively lengthens routes and tightens behavioral constraints, and a stage-aware reward whose component weights shift emphasis from mission progress toward route following, safety, smoothness, and rule compliance as the task hardens. The policy is a multi-stream actor-critic network trained with Proximal Policy Optimization (PPO) in CARLA on a compact 99-dimensional state pairing a polar LiDAR histogram with vehicle telemetry, ego-frame route geometry, and traffic-rule indicators--no point-cloud encoder, no bird's-eye-view rasterization. Against two PPO baselines under an identical protocol, CORAL reaches the goal in all twenty evaluation episodes on the longest routes under the full set of behavioral constraints, where the baselines reach 5% and 10%; a factorial ablation shows that neither schedule alone matches their combination: removing either lowers both success and route completion, and disabling both drops success to 55%. Trained in one town, the policy transfers zero-shot to seven unseen towns, succeeding in 68-98% of episodes on routes of the same 100-150 m length, with mean lateral deviation below 0.35 m.

arXivで原文を読む →arXiv概要ページ