ConDenseDrive、視覚エンコーダを知識密度化・トークン疎化する手法を発表

何が起きたか

ConDenseDriveは2026年10月12日、エンドツーエンド自動運転向けの視覚エンコーダ「ConDenseDrive」を発表した。3段階の枠組みで、3つのvision foundation modelから視覚・意味・幾何の知識を蒸留し、register tokenに時空間文脈を統合し、register-guided token compressionで冗長なpatch計算を減らす。論文は、この設計により2.0倍の速度向上と計画性能の改善を両立したとしている。

詳細

論文は、まずエンコーダをknowledge-denseにする段階として、3つのvision foundation modelから補完的なvisual, semantic, geometric knowledgeを蒸留すると説明する。次に、蒸留したエンコーダをmulti-frame end-to-end drivingに適応させ、時空間文脈をregister tokenへ組み込む。最後に、register-guided token compressionを適用してpatch tokenの冗長計算を抑え、2.0×のspeedupを得たとしている。 評価結果として、NAVSIM v1で94.5 PDMS、NAVSIM v2で90.8 EPDMS、HUGSIMでzero-shotの37.4 HD-Scoreを示したとする。論文は、visual encoderの設計が信頼性と効率性を両立する有効な経路だとしている。

Key Facts

本紙の見方

ConDenseDriveの新規性は、エンドツーエンド自動運転の視覚表現を、単に強い画像事前学習で初期化するのではなく、知識の蒸留とトークン圧縮を同じ枠組みに組み込んだ点にある。論文が示す主張の核は、3つのvision foundation modelから視覚・意味・幾何の知識を取り込み、その後にregister tokenへ時空間文脈を集約し、さらにtoken-sparse化で冗長計算を削るという流れである。ここで重要なのは、表現力と推論効率を別問題として扱わず、encoder設計そのものを両立の手段にしている点だとみられる。 本紙の見方では、これは自動運転の計画モジュールを直接いじるというより、入力側の視覚エンコーダを再設計して後段のtrajectory planningを支えるアプローチである。過去に一般的な画像事前学習から始めて全patch tokenを密に処理する方式が限界として挙げられているが、ConDenseDriveはその前提に対して、register tokenを中継点にして多フレーム情報を保持し、必要な部分だけを残す方向へ振っている。つまり、データの圧縮ではなく、推論時の計算配分を変える設計である。 業界構造への含意としては、焦点はモデル精度の表示だけではなく、車載推論でのlatency制約に対して、どこで計算を捨て、どこで文脈を保持するかに移る。3つのfoundation modelの知識を統合する構成は、単一モデル依存ではなく複数基盤モデルの併用を前提にしており、学習・蒸留・圧縮の工程が一体化している。これにより、後段の計画性能を維持しながら速度を上げるという設計思想が明確になったといえる。一方で、論文本文だけでは、実車搭載時の計算資源、センサー構成、各段階の寄与率、また速度向上がどのハードウェア条件で成立するかはまだ見えない。今後は、どの程度の車載環境で2.0×が再現されるか、register token圧縮が長距離・夜間・悪天候でどう振る舞うかが確認点になる。

なぜ重要か

論文が示した2.0×のspeedupは、エンドツーエンド自動運転でしばしば問題になる遅延制約に直接関係する。NAVSIM v1の94.5 PDMS、NAVSIM v2の90.8 EPDMS、HUGSIMの37.4 HD-Scoreという結果は、速度だけでなく計画性能も同時に論じる必要があることを示す。

日本への影響

日本の自動運転開発では、車載計算資源の制約下で視覚表現をどう圧縮するかが論点になりやすい。ConDenseDriveのように、register tokenとtoken compressionで計算を削る設計は、限られた推論余力を使う車載向け実装を検討する際の参照点になりうる。