VLA/自動運転2026/8/31arXiv:2608.30122v1

VLA運転のためのマルチ軌道教師信号とポリシー最適化の整合

Aligning Multi-Trajectory Supervision with Policy Optimization for VLA Driving

VLA運転モデルにおいて、マルチ軌道模倣学習とGRPOを整合させる新しいフレームワークを提案し、非実行可能な軌道による勾配バイアスをパレート最適性と動的蒸留で解消する。

詳しい要約

1. どんなもの？

本論文は、Vision-Language-Action (VLA) 運転モデルにおいて、複数軌道の模倣学習とGroup-Relative Policy Optimization (GRPO) を組み合わせる際の軌道選択の重要性に着目し、軌道の教師信号とポリシー最適化を整合させる新しいフレームワークを提案する。具体的には、実行不可能なノイズ軌道によるポリシー勾配のバイアスを防ぐため、拡張軌道を接地真値の実行可能領域の近傍多様体に制約し、Pareto最適性基準で非支配候補のみを保持する。さらに、Feasibility-First Advantage AssignmentとDynamic Distillationという2つの機構を導入し、拡張された軌道教師信号をポリシー改善に効果的に吸収する。

2. 先行研究と比べてどこがすごい？

従来のVLA運転手法は、複数軌道の模倣学習とGRPOを組み合わせる際、スコアの高い軌道を選択していたが、それらが現在のポリシーの実行可能な行動分布と整合せず、GRPOのアドバンテージ推定を歪め、安全で規範的な行動から逸脱する更新を引き起こす問題があった。本手法は、軌道選択にPareto最適性を導入し、実行可能性を考慮したアドバンテージ割り当てと動的蒸留により、教師信号とポリシー最適化の整合を図る点が新しい。

3. 技術・手法の肝は？

手法の核は3点。(1) 拡張軌道を接地真値の実行可能領域の近傍多様体に制約し、実行不可能なノイズ軌道を除外する。(2) 従来の加重スコアの代わりにPareto最適性基準を採用し、非支配候補のみを保持して競合するサンプルを源流でフィルタリングする。(3) Feasibility-First Advantage Assignment（各ロールアウトグループの実行可能性構成に応じてParetoクレジットを適応させ、完全に実行不可能なグループを安全な参照へ導く）とDynamic Distillation（精錬ラウンドごとに教師軌道を更新し、有用な教師信号を継続的に転送する）の2つの相補的機構を導入する。

4. どうやって有効だと検証した？

NAVSIM v1およびv2データセットで評価し、単一軌道推論でそれぞれ91.4 PDMSと89.1 EPDMSを達成した。また、658の初期失敗シーンのうち440を回復し、元のGRPOベースラインより11.1%向上した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明である。ただし、実行可能領域の定義やPareto最適性の計算コスト、動的蒸留の収束性などが実用上の課題となる可能性が考えられるが、要旨には明記されていない。

6. 次に読むべき論文は？

要旨で参照されている関連手法として、VLA driving methods、multi-trajectory imitation learning、group-relative policy optimization (GRPO) が挙げられる。次に読むべき論文としては、GRPOの原論文や、VLA運転の基盤となるVision-Language-Actionモデルに関する研究が考えられるが、具体的なタイトルは要旨からは不明である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tian Zhang, Zhuo Huang, Hongrui Ye, Yu Wu, Zengmao Wang, Kaixuan Zhou

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Vision-language-action (VLA) driving methods increasingly combine multi-trajectory imitation learning with group-relative policy optimization (GRPO), making trajectory selection critical to final performance. However, some high-scoring trajectories that improve imitation can degrade subsequent GRPO by inducing advantage estimates misaligned with the current policy's feasible behavior distribution, driving updates away from safe and compliant behaviors. To address this, we propose a novel framework that aligns multi-trajectory supervision with policy optimization. To address the policy gradient bias induced by infeasible noisy trajectories outside the feasible region, augmented trajectories are constrained to a neighboring manifold of the ground-truth feasible region, and a Pareto-optimality criterion is adopted in place of the conventional aggregate score, retaining only non-dominated candidates and thereby filtering out conflicting samples at the source. To ensure that expanded trajectory supervision is effectively absorbed during policy optimization, we introduce two complementary mechanisms: feasibility-first advantage assignment and dynamic distillation. The former adapts Pareto credit to the feasibility composition of each rollout group and guides fully infeasible groups toward safe references. The latter updates teacher trajectories across refinement rounds to continually transfer useful supervision. Together, they progressively translate the benefits of expanded supervision into policy improvement. On NAVSIM v1 and v2, our method achieves 91.4 PDMS and 89.1 EPDMS, respectively, under single-trajectory inference, and recovers 440 of 658 initially failed scenes, 11.1\% higher than the original GRPO baseline.

arXivで原文を読む →arXiv概要ページ