自動運転/LLMエージェント/テスト2026/9/8arXiv:2609.08965

PlannerForge: 自動運転におけるモーションプランナーのシナリオベーステストのためのLLMエージェント

PlannerForge: LLM Agents for Scenario-Based Testing of Motion Planners in Autonomous Driving

自動運転システムのシナリオベーステストの全工程を統一的なLLMエージェントフレームワークで統合し、シナリオ生成から評価、さらにはシステム改善とベンチマークまでを自動化するPlannerForgeを提案した。

詳しい要約

1. どんなもの？

PlannerForgeは、Autonomous Driving Systems (ADSs)のシナリオベーステストの全パイプラインを統合するLLMエージェントフレームワークである。従来の断片的なモジュールパイプライン（シナリオ生成、検索、変更、ADS実行、結果分析）を拡張し、さらにADS EnhancementとADS Benchmarkingの2つのLLM強化ステージを追加する。

2. 先行研究と比べてどこがすごい？

先行研究では、LLMエージェントは知覚、計画、制御などのADSサブシステムに適用されていたが、シナリオベーステストの全パイプラインを単一のLLMエージェントフレームワークで扱ったものはなかった。PlannerForgeは、全ステージを統合し、さらに2つの新ステージを追加することで、このギャップを埋める。

3. 技術・手法の肝は？

手法の肝は、LLMエージェントを利用してシナリオ生成から評価までの各ステージを統合し、さらにADS EnhancementとBenchmarkingを追加した点。具体的には、Generation、Selection、Modification、Module Routing、Planner Testing、Enhancementの各タスクをLLMで実行し、モジュールをエンドツーエンドで連鎖させる。

4. どうやって有効だと検証した？

10種類の既製LLMを5つのプロンプト条件で全タスク（Generation、Selection、Modification、Module Routing、Planner Testing、Enhancement）に対して評価した。最良タスクスコアは0.88〜1.00で、オープンソースの20-35Bモデルが商用APIに多くのタスクで匹敵した。エンドツーエンドの連鎖では、シードクエリの83%（商用）と78%（オープン）を保持した。また、Scenario Factory 2.0との比較では自然言語生成で優れ（193 vs. 144実行可能）、BM25との比較ではランク1選択で優れ（92.0% vs. 67.5%）、From-Words-to-Collisionsとの比較では物理的に有効な編集で優れた（>=94% vs. 31%）。N=400でコスト調整によりプランナー成功率が50.4%から70.2%に向上し、衝突が19.0%から8.4%に減少した。

5. 議論はある？

要旨からは、オープンソースモデルが商用APIに匹敵する一方で、エンドツーエンドの連鎖ではクエリの保持率が低下する点や、コスト調整の具体的な手法、ドメイン固有のファインチューニングなしでの性能向上の限界などについての議論は不明。

6. 次に読むべき論文は？

要旨で参照されている論文：Scenario Factory 2.0 (Finkeldei et al., 2025)、BM25 (Robertson and Zaragoza, 2009)、From-Words-to-Collisions (Gao et al., 2025)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuan Gao, Sebastian Müller, Mattia Piccinini, Marc Kaufeld, Yuchen Zhang, Finn Rasmus Schäfer, Qunying Song, Johannes Betz

分類: cs.AI, cs.CL, cs.RO

原文アブストラクト

Ensuring the safety of autonomous driving is a critical challenge. Scenario-based testing is a systematic process used to validate Autonomous Driving Systems (ADSs), but it remains a fragmented modular pipeline in which scenario generation, retrieval, modification, ADS execution, and results analysis are performed by separate tools with little interaction. Large Language Model (LLM) agents have shown promise across ADS sub-systems such as perception, planning, and control. However, no prior work covers the whole scenario-based testing pipeline for ADSs with a unified LLM-agent framework. We present PlannerForge, an LLM-agent framework that extends all scenario-based testing stages (from Scenario Generation to ADS Assessment) and adds two further LLM-enhanced stages: ADS Enhancement and ADS Benchmarking. We evaluate PlannerForge with 10 off-the-shelf LLMs across all tasks (Generation, Selection, Modification, Module Routing, Planner Testing, and Enhancement) under 5 prompt conditions. Best-per-task scores range from 0.88 to 1.00, and open-source 20-35B backends match commercial APIs on most tasks. Open-source models such as Qwen3.6:35B match commercial APIs on three of the five tasks. Chaining the modules end-to-end retains 83% / 78% of seed queries (commercial / open). It outperforms Scenario Factory 2.0 (Finkeldei et al., 2025) on natural-language generation (193 vs. 144 executable of 200) and realises 92-96% of requested city, road and vehicle attributes. It outperforms BM25 (Robertson and Zaragoza, 2009) at rank 1 selection (92.0% vs. 67.5%) and From-Words-to-Collisions (Gao et al., 2025) on physically valid edits (>=94% vs. 31%). At N=400, cost-tuning lifts planner success from 50.4% to 70.2% and cuts collisions from 19.0% to 8.4%, without domain-specific fine-tuning.

arXivで原文を読む →arXiv概要ページ

← 論文一覧