自動運転2026/9/8arXiv:2609.08217

後知恵と先見による運転：階層的メモリ上のツール基盤シナジー推論による自動運転

Drive by Hindsight and Foresight: Tool-Grounded Synergistic Reasoning over Hierarchical Memory for Autonomous Driving

自動運転のための視覚言語モデル（VLM）の幻覚や時空間認識の弱さを改善するため、階層的メモリとツール呼び出しを閉ループで統合した初のシナジーフレームワークを提案した。

詳しい要約

1. どんなもの？

本論文は、自動運転におけるVLMの幻覚、時空間知覚の弱さ、汎化の限界を克服するため、階層的メモリと能動的なツール呼び出しを密に結合した初の相乗的フレームワークを提案する。具体的には、シーン状態を保持する短期メモリと再利用可能な経験やツール戦略を蓄積する長期メモリからなるHierarchical Driving Memory、推論時にツールを適応的に呼び出し経験を長期メモリに統合するMemory-Tool Synergistic Reasoning Framework、教師ロールアウトによるデータ生成とSFT/GRPOを用いた二段階訓練パイプラインを導入する。7BモデルでDriveLMM-o1の総合推論スコア80.03、MCQ精度79.09%を達成し、最強ベースラインをMCQで7.74ポイント上回る。

2. 先行研究と比べてどこがすごい？

従来手法はCoT説明、RAG、ツール出力の静的注入などで文脈を豊かにするが、モデルが能動的にシーン情報を知覚せず、回答後に経験を蓄積しない。本手法は、階層的メモリと能動的ツール呼び出しを閉ループで結合し、推論時にツールを適応的に呼び出して精緻化し、オフラインで経験を長期メモリに統合する点が新しい。さらに、短期メモリが時空間理解を強化し、長期メモリの統合がパラメータ凍結のまま追加の性能向上をもたらすことを示し、継続的自己進化を実現する。

3. 技術・手法の肝は？

手法の核は、(i)シーンレベルの短期メモリと進化する長期メモリからなるHierarchical Driving Memory、(ii)シーン状態と取得経験に基づき推論時にツールを適応的に呼び出し、オフラインで再利用可能な経験を長期メモリに統合するMemory-Tool Synergistic Reasoning Framework、(iii)マルチステップ教師ロールアウトで構築した検証済みメモリ-ツール軌跡を用いたSFTとGRPOによる二段階訓練パイプライン。

4. どうやって有効だと検証した？

DriveLMM-o1ベンチマークで総合推論スコア80.03、MCQ精度79.09%を達成し、最強ベースラインをMCQで7.74ポイント上回った。さらに、複数ベンチマークで強い汎化を示した。アブレーション研究により各コンポーネントの有効性を検証し、短期メモリがSTSBench精度を24.2ポイント向上させ、オフライン長期メモリ統合が全パラメータ凍結のままMCQで3.57ポイントの追加向上をもたらすことを示した。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な問題についての議論は不明。ただし、アブレーションと分析により階層的メモリの相補的役割が明らかになり、短期メモリは時空間理解を強化し、長期メモリは経験蓄積による継続的自己進化に寄与することが示唆される。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、CoT explanations、retrieval-augmented generation、tool outputsの静的注入を用いた手法が挙げられる。また、DriveLMM-o1ベンチマークやSTSBenchなどの関連データセットも参照されている。次に読むべき論文としては、これらの手法を提案した元論文や、VLMの自動運転応用に関するサーベイが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Baojie Chen, Zijun Jia, Jing Zhong

分類: cs.CV, cs.RO

原文アブストラクト

VLMs have shown promise for autonomous driving, yet still suffer from hallucination, weak spatio-temporal perception, and limited generalization. Recent methods improve reasoning and decision-making through CoT explanations, retrieval-augmented generation or the static injection of tool outputs. Although these mechanisms enrich the context, the model neither proactively perceives scene information nor accumulates experience after answering. To overcome these limitations, we present, to our knowledge, the first synergistic framework that tightly couples hierarchical memory with proactive tool invocation in a closed reasoning loop. Our contributions are threefold. (i) Hierarchical Driving Memory: a scene-level short-term memory maintains the dynamic scene state, and an evolving long-term memory retrieves reusable experience and tool strategies. (ii) Memory-Tool Synergistic Reasoning Framework: guided by the scene state and retrieved experience, the model adaptively invokes tools to refine its reasoning at inference time and consolidates reusable experience into a long-term memory pool offline. (iii) Data Generation and Two-stage Training Pipeline: verified memory-tool trajectories built by multi-step teacher rollout are used to train with SFT and GRPO. Our 7B model reaches an overall reasoning score of 80.03 and MCQ accuracy of 79.09% on DriveLMM-o1, surpassing the strongest baseline by 7.74 MCQ points and generalizes strongly across benchmarks. Notably, ablation and analysis studies validate the effectiveness of each component and further reveal the complementary roles of hierarchical memory. Short-term memory strengthens spatio-temporal understanding, improving STSBench accuracy by 24.2 points, while offline long-term memory consolidation yields an additional 3.57-point MCQ gain with all parameters frozen, demonstrating continual self-evolution through accumulated driving experience.

arXivで原文を読む →arXiv概要ページ