自動運転/スパイクニューラルネットワーク2026/10/8arXiv:2610.11583

SDPAD: 完全スパイク駆動型エンドツーエンド自動運転パイプライン

SDPAD: A Fully Spike-Driven Pipeline for End-to-End Autonomous Driving

スパイクニューラルネットワークを用いて、ANNに匹敵する精度を保ちつつ消費エネルギーを2%以下に抑えたエンドツーエンド自動運転プランナーを提案。

詳しい要約

1. どんなもの？

- 完全にspike駆動のend-to-end自動運転計画パイプラインSDPADを提案。 - 事前学習済みANN知覚スタックをquantized ANN2SNN変換でinteger-spike化。 - multi-view画像をBEV空間へ持ち上げ、Spike-QFormerで計画。 - 推論は単一feed-forwardパスで時間シミュレーションループ不要。 - nuScenesとNAVSIMで評価。

2. 先行研究と比べてどこがすごい？

- ANN plannerは高精度だがdense計算が重い。 - SNNは省エネだが計画精度が大きく劣る。 - SDPADはANN並み精度をSNNで達成。 - nuScenesで平均L2誤差0.40m、衝突率0.12%。 - 消費エネルギー69.9mJで最近のANNベースラインの2%未満。 - NAVSIMで86.3 PDMS、先行SNNのSADを4.3点上回る。 - 初の完全spike駆動plannerのend-to-end評価。

3. 技術・手法の肝は？

- quantized ANN2SNN変換で知覚スタックをinteger-spike化。 - Spike-3D-Liftでmulti-view画像をBEVへ。spike-driven-max (SDM) 深度分布を使用。 - Spike-QFormer: spiking query transformer。 - BEV sceneから蒸留したego, agent, map queriesをlearnable waypoint queriesがcross-attentionで融合。 - deformable spike-cross-attentionでrefinement。 - 全演算をinteger spikesでゲート、単一feed-forward推論。

4. どうやって有効だと検証した？

- nuScenes open-loop benchmarkで評価。 - 平均L2誤差0.40m、衝突率0.12%を達成。 - 消費エネルギー69.9mJを報告。 - NAVSIM navtest splitのclosed-loop評価で86.3 PDMS。 - 先行SNN planner SADを4.3点上回る。 - 主流ANN plannerと同等でエネルギーは僅か。

5. 議論はある？

- SNNが複雑な運転タスクでdense ANNに匹敵し得ることを示す。 - 完全spike駆動plannerのend-to-end自動運転評価は初。 - 精度と省エネの両立を主張。 - 限界や失敗事例、一般化性、リアルタイム性の議論は要旨からは不明。

6. 次に読むべき論文は？

- 先行SNN planner: SAD。 - ANN plannerベースライン（具体名は要旨からは不明）。 - quantized ANN2SNN変換、Spike-3D-Lift、Spike-QFormer、deformable spike-cross-attention。 - データセット: nuScenes, NAVSIM。 - 同分野の定番: BEVFormer, UniAD, VAD, SparseDriveなど。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chengjun Zhang, Yuhao Zhang, Jie Yang, Mohamad Sawan

分類: cs.RO, cs.AI

原文アブストラクト

End-to-end autonomous driving demands trajectory planners that are both highly accurate and cheap enough for edge deployment. State-of-the-art artificial neural network (ANN) planners meet the accuracy requirement at the cost of heavy dense computation, while spiking neural networks (SNNs)---though promising orders-of-magnitude energy savings through sparse, event-driven arithmetic---still lag far behind in planning accuracy. We present \textbf{SDPAD}, a fully spike-driven end-to-end planning pipeline that closes this gap. SDPAD converts a pre-trained ANN perception stack into integer-spike form via quantized ANN2SNN conversion, lifts multi-view images into the bird's-eye-view (BEV) space with a spike-driven-max (SDM) depth distribution (Spike-3D-Lift), and plans through the Spike-QFormer, a spiking query transformer in which ego, agent, and map queries distilled from the BEV scene are fused by learnable waypoint queries via cross-attention, followed by deformable spike-cross-attention refinement. Every operation is gated by integer spikes and inference is a single feed-forward pass without temporal simulation loops. On the nuScenes open-loop benchmark, SDPAD achieves an average $L_2$ error of 0.40\,m and a collision rate of 0.12\%, on par with strong ANN planners while consuming 69.9\,mJ---less than 2\% of recent ANN baselines. In closed-loop evaluation on the NAVSIM navtest split, SDPAD reaches 86.3 PDMS, surpassing the previous SNN planner SAD by 4.3 points and matching mainstream ANN planners at a fraction of their energy. To our knowledge, SDPAD is the first fully spike-driven planner evaluated in end-to-end autonomous driving, demonstrating that SNNs can rival dense ANNs in complex driving tasks.

arXivで原文を読む →arXiv概要ページ

← 論文一覧