日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
自動運転arXiv:2609.00242

CoLT-Drive:運転アフォーダンス予測のための反事実的ロングテールベンチマークと知識保持適応

CoLT-Drive: Counterfactual Long-Tail Benchmarking and Knowledge-Preserving Adaptation for Driving Affordance Prediction

シェア:XThreadsFacebookLINEはてブBluesky

運転アフォーダンス予測の性能を評価する反事実的ロングテールベンチマークCoLT-Driveを構築し、知識を保持しながら適応するKPAフレームワークを提案した。

詳しい要約

1. どんなもの?

本論文は、自動運転の長尾(Long-tail)失敗を、稀な物体の認識エラーとしてではなく、その物体がego vehicleの実行可能な高レベル行動(縦方向・横方向のメタアクション)をどう変えるかを推論できるかという「decision-level driving affordance prediction」の問題として定式化する。この能力を評価するため、固定された運転シーンに稀な物体を挿入した3,536サンプルのcounterfactual long-tailベンチマーク「CoLT-Drive」を導入する。さらに、展開可能な小型VLMの性能向上のため、構造化されたperception-to-decision prompting、SLERPベースのexpert merging、RegMoE(regime-aware LoRA mixture-of-experts)を組み合わせた知識保持適応フレームワーク「KPA」を提案する。

2. 先行研究と比べてどこがすごい?

従来のlong-tail自動運転研究は稀な物体の認識精度に焦点を当てていたが、本論文は「物体が行動選択に与える影響」を評価する点が新しい。また、小型VLMの適応において、既存のLoRA SFTはタスク適応時に事前学習のopen-world knowledgeを破壊し、in-domain精度は維持できてもCoLT-Driveのようなcounterfactualな場面で性能が低下する。KPAは知識を保持しながら軽量な適応を可能にし、ベースラインのQwen3-VL-2B(50.3%)やLoRA SFT(32.4%)を上回る60.8%のpair accuracyを達成しつつ、in-domain精度も維持する点が優れている。

3. 技術・手法の肝は?

KPAは3つの要素からなる。(1) structured perception-to-decision prompting:画像、ego-motion履歴、ナビゲーションコマンドを入力とし、認識結果を意思決定に橋渡しするプロンプト構造を設計。(2) SLERP-based expert merging:複数のタスク特化expertを球面線形補間(SLERP)でマージし、知識を保持しながら適応能力を合成。(3) RegMoE:運転の異なる意思決定レジーム(regime)に応じて軽量なLoRA expertをルーティングするmixture-of-expertsモジュール。これにより、事前学習モデルのopen-world knowledgeを保ちつつ、各運転レジームに適応容量を割り当てる。

4. どうやって有効だと検証した?

in-domain driving splitとCoLT-Driveの両方で評価した。CoLT-Driveでは、KPAはpair accuracy 60.8%を達成し、事前学習済みQwen3-VL-2Bベースライン(50.3%)およびLoRA SFT(32.4%)を上回った。また、in-domain精度も競争力を維持することを確認した。

5. 議論はある?

要旨からは、KPAがCoLT-Driveで高い性能を示す一方、in-domain精度とのトレードオフや、他のモデルサイズやアーキテクチャへの一般性、RegMoEのルーティングの解釈性、ベンチマークの多様性や現実世界との乖離などについての議論は明示されていない。また、KPAの各要素の寄与や、知識保持の定量的評価(例:open-world knowledgeの具体的なタスクでの性能)も要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、ベースラインのQwen3-VL-2B(VLM)、LoRA SFT、SLERP、mixture-of-experts(MoE)などが挙げられる。また、long-tail認識やcounterfactual推論に関する既存研究(例:rare object detection、counterfactual explanation)も関連する。具体的な論文タイトルは要旨にないため、同分野の定番として「Long-tail recognition」「Vision-Language Models for Autonomous Driving」「Parameter-Efficient Fine-Tuning」などの一般名を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhengxu Tang, Guofeng Cui, Ziyu Gong, Xiaozhou Zhang, Ruifeng Deng, Chengzhi Qi, Ke Chen, Sachin Patil, Tianjun Xiao, Langechuan Liu, Pichao Wang

分類: cs.CV, cs.AI, cs.CL, cs.RO

原文アブストラクト

Long-tail autonomous driving failures are often framed as rare-object recognition errors. We argue that this view is incomplete: the decision-critical question is not only whether a model recognizes an unusual object, but whether it infers how that object changes the ego vehicle's feasible high-level actions. We formalize this problem as decision-level driving affordance prediction, where a model maps a front-view image, ego-motion history, and navigation command to a structured longitudinal--lateral meta-action. To evaluate this capability, we introduce CoLT-Drive, a 3,536-sample counterfactual long-tail benchmark that inserts rare objects into otherwise fixed driving scenes and measures whether models predict acceptable action pairs. To improve deployable small VLMs, we propose KPA, a knowledge-preserving adaptation framework that combines structured perception-to-decision prompting, SLERP-based expert merging, and RegMoE, a regime-aware LoRA mixture-of-experts module. KPA preserves the pretrained model's open-world knowledge while allocating lightweight adaptation capacity to different driving decision regimes. Experiments on an in-domain driving split and CoLT-Drive show that KPA achieves 60.8\% pair accuracy on CoLT-Drive, outperforming the pretrained Qwen3-VL-2B baseline (50.3\%) and LoRA SFT (32.4\%) while maintaining competitive in-domain accuracy. Our benchmark and code are available at https://huggingface.co/datasets/tangzx2024/CoLT-Drive and https://github.com/tangzhengxu/CoLT-Drive.

関連論文