視覚マスクと緊急ブレーキを備えたGatedVLA:AlpaSim閉ループ走行チャレンジ技術報告
GatedVLA with Camera-Based Emergency Braking: AlpaSim E2E Closed Loop Challenge Technical Report
運転向けVLMとフローマッチング行動エキスパートを組み合わせたVLAポリシーに視覚マスクを加え、展開時にルールベースの自動緊急ブレーキを統合して閉ループ評価でのスコア向上と衝突低減を実現した。
著者: Kaneyoshi Hiratsuka, Naoki Takada, Makoto Kawano
分類: cs.CV, cs.RO
原文アブストラクト
This report presents GatedVLA, our entry for the Physical AI AV (PAI-AV) track. Our learned vision-language-action (VLA) policy pairs the driving-pretrained Qwen-Drive-1.0-4B vision-language model with a layer-wise flow-matching action expert that outputs a 2.5 s horizon of acceleration and curvature controls, augmented with a soft visual mask applied to the expert's cross-attention. Compared to an identically trained baseline, the masked policy achieves comparable overall open-loop error while reducing error on left turns. In local closed-loop evaluation across the same 150 scenes (two rollouts per scene), the visual mask increases the mean scene score from 0.479 to 0.517 (paired difference +0.038, 95% bootstrap CI [-0.018, +0.093], wins/losses 37/26, sign test p = 0.21). Incorporating a rule-based automatic emergency braking (AEB) module at deployment further increases the mean score to 0.599 (+0.082, CI [+0.023, +0.143]) and reduces the mean number of scenes with at-fault collisions from 34.0 to 11.0.
関連論文
- STEER: 経路認識型適応推論による自動運転自動運転VLA
- SafeDriveVLA: ナビゲーション条件付きワールドモデルドリーミングによる衝突認識型エンドツーエンド自動運転自動運転VLA
- 走ってから歩け:VLM自動運転のためのRun-then-Walkスケジューリング戦略自動運転VLA
- AppleVLM:高度な知覚と計画を強化した視覚言語モデルによるエンドツーエンド自動運転自動運転VLA
- SToRM: マルチモーダルLLMのための教師ありトークン削減による効率的なエンドツーエンド自動運転自動運転VLA
- 表現の相補性からデュアルシステムへ:VLMと視覚専用バックボーンの協調によるエンドツーエンド運転自動運転VLA