日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
自動運転シミュレーションarXiv:2609.26792

DreamStream: エンドツーエンド運転ポリシー向け生成的シミュレーション

DreamStream: Towards Policy-Oriented Generative Simulation for End-to-End Driving

シェア:XThreadsFacebookLINEはてブBluesky

大規模動画モデルを蒸留し、ポリシーが依存するシーン特徴を保つ生成的閉ループシミュレータDreamStreamを提案。新指標FDπで評価し、既存手法より高精度にポリシー知覚を再現、敵対的運転を含むベンチマークNavhard-CLも構築。

詳しい要約

1. どんなもの？

- どんなもの？ - End-to-End driving policy を評価するための generative closed-loop simulator「DreamStream」 - simulator-grounded autoregressive video model により policy-oriented fidelity を実現 - 大規模 pretrained video model を traffic layout guidance で distill - 新指標 FD$\pi$ と Navhard-CL benchmark も提案 - code/data は https://github.com/VAIL-UCLA/DreamStream で公開

2. 先行研究と比べてどこがすごい？

- 先行研究と比べてどこがすごい？ - 既存 platform は sim-to-real visual gap が policy perception を壊し closed-loop 評価を損なう - DreamStream は photo-realistic さでなく policy が依存する scene features を保持 - FD$\pi$ で最強の prior closed-loop simulator を nuScenes で 1.6×、NAVSIM で 4.7× 改善 - policy の perceptual observability への perturbation が最小 - 非反応的な NAVSIM を interactive な Navhard-CL に変換

3. 技術・手法の肝は？

- 技術や手法の肝はどこ？ - simulator-grounded autoregressive video model を採用 - 大規模 pretrained video model から traffic layout guidance で distill - visual appearance を変えつつ scenario layout と dynamic objects の temporal consistency を保持 - FD$\pi$: public E2E policies の scene-context features 上の Fréchet distance で sim-to-real gap を測る multi-representation metric - Navhard-CL: adversarial driving behaviors と weather variations を導入

4. どうやって有効だと検証した？

- どうやって有効だと検証した？ - FD$\pi$ で prior closed-loop simulator と比較 - nuScenes で 1.6×、NAVSIM で 4.7× の改善を報告 - policy の perceptual observability への perturbation が最小と確認 - Navhard-CL benchmark を構築し driving policies の failure modes を検出 - scorer bias や recovery behaviors の欠如など prior closed-loop benchmarks が見落とす問題を露呈

5. 議論はある？

- 議論はある？ - FID などの perceptual metrics は policy-relevant features の保持を誤って順位付けする - この問題に対処するため FD$\pi$ を導入 - Navhard-CL は scorer bias や recovery behaviors の欠如など failure modes を明らかに - これらは prior closed-loop benchmarks では見落とされていた - その他の限界や議論は要旨からは不明

6. 次に読むべき論文は？

- 次に読むべき論文は？ - 要旨で参照/比較されている研究: - NAVSIM - nuScenes - FID - 関連手法: - end-to-end driving policies - closed-loop simulators - generative video models - Fréchet distance ベースの評価指標

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziyang Leng, Sicheng Mo, Seth Z. Zhao, Haoyuan Cai, Yu Zeng, Rowan McAllister, Bolei Zhou

分類: cs.RO, cs.CV

原文アブストラクト

Faithfully evaluating end-to-end driving policies in simulation requires observations that are not merely photo-realistic, but preserve the scene features a policy relies on to make decisions. Existing platforms, however, exhibit a sim-to-real visual gap that corrupts policy perception, undermining their ability to assess a policy's closed-loop decision-making. To this end, we propose DreamStream, a generative, closed-loop simulator that achieves policy-oriented fidelity using a simulator-grounded autoregressive video model. Our video model is distilled from a large pretrained video model via traffic layout guidance, varying visual appearance while preserving policy-relevant features such as scenario layout and the temporal consistency of dynamic objects. We further observe that perceptual metrics like FID misrank how well these features are preserved. To tackle this, we introduce FD$π$, a new multi-representation metric that measures the sim-to-real gap as the Fréchet distance over scene-context features from public E2E policies. Under FD$π$, DreamStream improves over the strongest prior closed-loop simulator by $1.6\times$ on nuScenes and $4.7\times$ on NAVSIM, and induces the least perturbation to policy's perceptual observability. Based on DreamStream, we construct Navhard-CL benchmark, which turns non-reactive real-world benchmark NAVSIM into interactive testing environments with adversarial driving behaviors and weather variations. This benchmark exposes many failure modes of driving policies, such as scorer bias and lack of recovery behaviors, that prior closed-loop benchmarks overlook. Code and data are available at https://github.com/VAIL-UCLA/DreamStream.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI