VLA2026/11/7arXiv:2611.10720

モダリティ・層ごとにドメインシフトを特定して修復するVLM軌道計画

Locating and Repairing Domain Shift in VLM Trajectory Planning

VLM駆動プランナーの都市間ドメインシフトが画像/テキストと言語モデル層の2次元構造を持つことを示し、その箇所だけを選択的に修復するMoLaRxを提案した論文。

詳しい要約

1. どんなもの？

- Vision-Language Models (VLMs) を end-to-end driving planner として用いる際の cross-city domain shift を扱う研究 - domain shift を単一量ではなく modality (image vs. text tokens) と layer の二次元テンソルとして捉え直す - locate-then-repair の原則に基づく MoLaRx (Modality-Layer Repair) フレームワークを提案 - 3つの VLM (LFM2-VL-1.6B, Qwen2-VL-2B, PaliGemma2-3B) と2つの cross-city benchmark (nuScenes, Argoverse 2) で評価

2. 先行研究と比べてどこがすごい？

- 既存手法は domain shift を単一量として uniform alignment や single-site editing で扱う - 本研究は shift が modality と layer に構造化されていることを activation patching で示し、この見方を否定 - 構造に合わせた locate-then-repair が全ての uniform-objective baseline を上回る - 6つの main-table 設定すべてで adaptation 手法中最小の cross-city trajectory-error gap を達成 - 50-60% 少ない trainable parameters と 8.4-10.9 ms 低い inference latency を実現 - uniform MMD-only adaptation は6設定すべてで collapse することを示す

3. 技術・手法の肝は？

- activation patching による domain shift 分析で2つの規則性を発見 - (F1) Modality axis: image と text tokens が各 VLM で異なる shift pattern を示す - (F2) Layer axis: layer-wise shift partition は architecture-dependent かつ dataset-stable - Causal Importance Score (CIS) で shift を modality-layer tensor として推定し、layer を functional zones に分割 - CIS-Guided Selective Repair (CISR) で各 zone に適合する operator (Maximum Mean Discrepancy (MMD) / low-rank adaptation (LoRA) / freezing) を適用 - 構成は各 architecture に自動適応

4. どうやって有効だと検証した？

- 3つの architecturally distinct な VLM (LFM2-VL-1.6B, Qwen2-VL-2B, PaliGemma2-3B) で評価 - 2つの cross-city benchmark (nuScenes, Argoverse 2) を使用 - 6つの main-table 設定すべてで adaptation 手法中最小の cross-city trajectory-error gap - trainable parameters を 50-60% 削減、inference latency を 8.4-10.9 ms 低減 - uniform MMD-only adaptation が全6設定で collapse する対照結果も報告

5. 議論はある？

- domain shift を単一量とする従来の見方を否定し、modality-layer の構造を持つ二次元テンソルとして再解釈する点を主張 - 構造に合わせた repair の重要性を、uniform MMD-only adaptation の collapse によって強調 - layer-wise shift partition が architecture-dependent かつ dataset-stable である点を規則性として提示 - 具体的な限界や失敗ケース、一般化可能性についての議論は要旨からは不明

6. 次に読むべき論文は？

- 比較対象として uniform alignment / single-site editing 系の domain adaptation 手法 - uniform MMD-only adaptation (Maximum Mean Discrepancy ベース) - low-rank adaptation (LoRA) - activation patching を用いたモデル解析研究 - 関連する cross-city driving planner 研究 (nuScenes, Argoverse 2 を用いるもの)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhihong Cui, Hengyu Liu, Michael Alexander Riegler, Guandong Xu, Amir Taherkordi, Tor Skeie

分類: cs.CV, cs.RO

原文アブストラクト

Vision-Language Models (VLMs) are increasingly adopted as end-to-end driving planners, yet they suffer from cross-city domain shift. Existing methods treat this shift as a single quantity addressed by uniform alignment or single-site editing. We challenge this view on two counts: (i) domain shift in VLM trajectory planners is inherently structured across modality and layer, and (ii) a locate-then-repair recipe matched to this structure outperforms every uniform-objective baseline. We analyse domain shift via activation patching and uncover two regularities. (F1) Modality axis. Image and text tokens exhibit distinct shift patterns in each VLM. (F2) Layer axis. The layer-wise shift partition is architecture-dependent and dataset-stable. These findings recast domain shift as a two-dimensional tensor indexed by modality (image vs. text tokens) and layer, motivating a simple principle: locate where shift occurs, and repair only there. We instantiate this principle in MoLaRx (Modality-Layer Repair), a locate-then-repair framework. The Causal Importance Score (CIS) estimates the domain shift as a modality-layer tensor and partitions the layers into functional zones. CIS-Guided Selective Repair (CISR) then applies a matched operator (Maximum Mean Discrepancy (MMD) / low-rank adaptation (LoRA) / freezing) to repair each zone, with the composition adapting automatically to each architecture. We evaluate MoLaRx on three architecturally distinct VLMs (LFM2-VL-1.6B, Qwen2-VL-2B, and PaliGemma2-3B) across two cross-city benchmarks (nuScenes and Argoverse 2). MoLaRx attains the lowest cross-city trajectory-error gap among adaptation methods in all six main-table settings, while using 50-60% fewer trainable parameters and 8.4-10.9 ms lower inference latency. In contrast, uniform MMD-only adaptation collapses in all six settings, highlighting the importance of structure-guided repair.

arXivで原文を読む →arXiv概要ページ

モダリティ・層ごとにドメインシフトを特定して修復するVLM軌道計画

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文

今週よく読まれている記事