現実的な世界反応を実現する閉ループ対話型ワールドモデルによる自動運転
Making the World React Realistically: A Closed-Loop Interactive World Model for Autonomous Driving
行動モデリングと視覚レンダリングを結合した閉ループ対話型ワールドモデルを提案し、自動運転の長尾シナリオで実世界との行動乖離を85%削減、新規視点PSNRを2.0dB改善した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jia Hu, Yang Chang, Panqu Wang, Zhijun Fu, Chang Liu, Changjian Yu, Jintao Lai
分類: cs.RO, cs.AI
原文アブストラクト
World models (WMs) generate driving scenarios beyond recorded logs, enabling the training and evaluation of autonomous driving systems in unseen interactions. However, existing WMs struggle to ensure both behavioral realism and visual fidelity, since they overlook the relationship between vehicle interactions and the ego visual observations. We propose a closed-loop interactive WM that couples behavior modeling and visual rendering. First, imitation-learned background-vehicle (BV) policies are fine-tuned with multi-agent reinforcement learning in the closed loop against an end-to-end ego planner that reacts to the rendered images, so that their interaction behaviors match those in real logs. Second, the viewpoints exposed by these interactions guide a per-Gaussian diagnosis of each 3D Gaussian vehicle asset, which attenuates view-dependent colors on under-observed Gaussians and fills never-observed surfaces with generated Gaussians, while preserving the observed appearance. Third, signal lights are rendered according to the driving intentions of the vehicles, by an editor that learns the light states unobserved for a vehicle through counterfactual fine-tuning with a light-state classifier. On long-tail closed-loop scenarios, our method reduces the divergence from real-world interaction behaviors by 85% and improves novel-view vehicle PSNR by 2.0dB over the state-of-the-art WM. The significance of BV light signaling in WMs is shown, as the rendered signal lights conveying BV driving intentions indirectly impact ego driving behaviors in a quarter of the scenarios.
関連論文
- AR-WAM:自動運転のための効率的ストリーミング型ワールドアクションモデリング自動運転/ワールドモデル
- 負例を活用した統合ワールドアクションモデルによるエンドツーエンド自動運転の安全強化自動運転/ワールドモデル
- 関係性に基づく潜在ワールドモデルによる自動運転自動運転/ワールドモデル
- インフラ中心のワールドモデル:路側知覚における時間的深さと空間的広がりの橋渡し自動運転/ワールドモデル
- 車両ダイナミクスを組み込んだ自動運転向けワールドモデル自動運転/ワールドモデル
- Imagine-2-Drive: マルチモーダル拡散ポリシーによる高忠実度ワールドモデル活用自動運転/ワールドモデル
