2026/8/1arXiv:2608.00237

Latent-Centroid Steering: Single-Pass Classifier-Free Guidance for Command-Aligned Autonomous Driving

詳しい要約

1. どんなもの？

本論文は、Vision-Language Models (VLMs) を用いたエンドツーエンド自動運転において、ナビゲーション指示への追従性が弱いという問題（command-following gap）を解決するための新しい推論時ガイダンス手法 Latent-Centroid Steering (LCS) を提案している。LCS は、Classifier-Free Guidance (CFG) を回帰ベースの運転タスクに適用した際の二回の推論によるレイテンシ増加と、インスタンス単位のガイダンスの不安定性を克服するため、事前計算されたコマンド固有のセントロイドへの潜在表現の投影により、クラスレベルの潜在シフトを実現する。これにより、推論レイテンシを約50%削減しつつ、コマンド追従性と運転性能を向上させる。

2. 先行研究と比べてどこがすごい？

先行研究では、VLM ベースの自動運転モデルがナビゲーションコマンドに鈍感である問題が指摘されていたが、明示的な対策は乏しかった。標準的な CFG は拡散モデルなどで有効だが、回帰ベースの運転タスクに適用すると、二回の推論が必要でリアルタイム制御にはレイテンシが大きすぎ、またインスタンス単位の残差はノイズが多く不安定である。LCS は、CFG を平均シフト（mean-shift）として解釈し、インスタンス単位の残差をクラスレベルのセントロイドシフトに置き換えることで、一回の推論で安定したガイダンスを実現し、レイテンシを約半分に削減しながら、コマンド追従性と運転性能を向上させた点が新しい。

3. 技術・手法の肝は？

手法の核は、CFG の平均シフト解釈に基づき、条件付き予測と無条件予測の差分（インスタンス残差）を、事前計算されたコマンド固有のセントロイドへの潜在表現の投影（クラスレベルの潜在シフト）で置き換える点にある。具体的には、訓練データからコマンドごとの潜在表現のセントロイドを計算しておき、推論時には条件付き表現を対応するセントロイド方向にシフトさせる。これにより、二回の推論を必要とせず（single-pass）、かつクラスレベルの幾何学的構造に基づく安定したガイダンスを実現する。

4. どうやって有効だと検証した？

有効性は、閉ループベンチマークの Bench2Drive と開ループベンチマークの nuScenes を用いて検証された。LCS は、標準的な CFG と比較して推論レイテンシを約50%削減しつつ、コマンド追従性と運転性能の両方で向上を示した。

5. 議論はある？

要旨からは、LCS の限界や議論についての詳細は不明である。ただし、クラスレベルのセントロイドに依存するため、コマンドの分布が複雑な場合や、セントロイドが適切に分離していない場合には、ガイダンスの精度が低下する可能性が考えられるが、要旨では言及されていない。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、Classifier-Free Guidance (CFG) の元論文（Ho & Salimans, 2022）や、Vision-Language Models (VLMs) を用いた自動運転の研究（例：DriveVLM など）が挙げられる。また、平均シフト（mean-shift）の理論に関する論文も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Meibo Hu, Jiamian Wang, Pichao Wang, Zhiqiang Tao

分類: cs.CV, cs.RO

原文アブストラクト

Vision-language models (VLMs) have recently emerged as a promising paradigm for end-to-end autonomous driving, enabling agents to map multimodal inputs and high-level navigation instructions directly to executable trajectories. However, in practice, these models exhibit a persistent command-following gap: predicted trajectories often show weak sensitivity to navigation commands, resulting in incorrect behavior at critical decision points. We identify this issue as a form of conditional policy collapse, where regression-based training under multimodal trajectory distributions encourages the model to rely on dominant visual priors while marginalizing the language-conditioned signal. To address this issue, we introduce a principled formulation of classifier-free guidance (CFG) for regression-based vision-language driving. We show that CFG can be interpreted as isolating the instruction-induced residual in the action space by contrasting conditional and unconditional predictions, thereby explicitly amplifying the effect of the navigation command at inference time. However, a standard two-pass CFG introduces prohibitive latency for real-time control and produces noisy instance-level guidance directions. Building on a mean-shift interpretation of CFG, we propose Latent-Centroid Steering (LCS), a single-pass guidance mechanism that replaces instance-level residuals with class-level latent shifts. By projecting conditional representations toward precomputed command-specific centroids, LCS performs class-level latent steering based on cluster geometry that is both more stable and computationally efficient. We demonstrate that LCS reduces inference latency by approximately 50% while achieving stronger command adherence and improved driving performance on both closed-loop (Bench2Drive) and open-loop (nuScenes) benchmarks. Code will be released.

arXivで原文を読む →arXiv概要ページ

← 論文一覧