日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.35044

運転世界行動モデル向け統合マルチモーダルトークナイザ

DriveUniTok: A Unified Multimodal Tokenizer for Driving World-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

外観・LiDAR深度・自車運動を単一の連続潜在表現に符号化する統合トークナイザDriveUniTokを提案し、拡散モデルで将来を予測してNAVSIMで最先端の計画性能を達成した。

詳しい要約

1. どんなもの？

- 自動運転向けの driving world-action model (WAM) のための統合マルチモーダルトークナイザー DriveUniTok を提案する研究。 - 外観・projected LiDAR depth で表される metric geometry・ego motion を、単一の decodable な連続潜在表現に符号化する。 - この潜在を予測する diffusion model ベースの DriveUniWAM を構築し、未来の外観・depth・ego trajectory を復号する枠組み。

2. 先行研究と比べてどこがすごい？

- 既存手法は外観・metric geometry・ego motion を部分的または独立にモデル化しており、これらが同一の世界状態の異なる投影である点を見落としていた。 - その分離により情報損失や cross-modal inconsistency が生じ、下流性能を制限していた。 - DriveUniTok はこれらを単一の潜在に統合し、NAVSIM で separate-stream の代替手法より低い下流計算コストで未来予測・planning 性能を向上させた。

3. 技術・手法の肝は？

- 外観・projected LiDAR depth・ego motion を単一の decodable な連続潜在に符号化する統合マルチモーダルトークナイザー DriveUniTok が中核。 - DriveUniTok を freeze し、pretrained diffusion model を適応した DriveUniWAM が未来の統合潜在を予測する。 - 予測された潜在を tokenizer が復号し、未来の外観・projected LiDAR depth・ego trajectory を生成する。

4. どうやって有効だと検証した？

- NAVSIM 上で実験を実施。 - 統合設計が separate-stream の代替手法より低い下流計算コストで未来予測・planning 性能に優れることを示した。 - reinforcement learning post-training により DriveUniWAM が PDMS 91.54 を達成し、評価した WAM-based planner の中で state-of-the-art となった。

5. 議論はある？

- 要旨からは不明。 - 統合潜在の表現能力や各モダリティ復号精度の限界、separate-stream との詳細な比較要因などは本文での議論が想定されるが、要旨には明示されていない。

6. 次に読むべき論文は？

- 要旨で比較対象として言及される separate-stream alternatives の WAM 研究。 - 基盤となる pretrained diffusion model および diffusion-based world model 関連研究。 - NAVSIM ベンチマークの planning 評価手法、PDMS 指標に関する研究。 - reinforcement learning post-training を用いた driving planner 関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingbo Xu, Hanchao Leng, JiaHui Huang, Hanbing Li, Jingwei Zhao, Kuiyuan Yang, Chen Gao, Guang Chen, Hangjun Ye, Yong Li

分類: cs.CV, cs.RO

原文アブストラクト

World models are emerging as a fundamental component of policy learning for real-world agents, enabling agents to predict future world states and plan actions within a learned representation of the dynamic environment. Existing approaches, however, often model appearance, metric geometry represented by projected LiDAR depth, and ego motion either partially or independently, overlooking the fact that these modalities are different projections of a shared underlying world state. This separation can lead to information loss and cross-modal inconsistency, ultimately limiting downstream performance. Motivated by this unified view of the world, we propose DriveUniTok, a unified multimodal tokenizer for driving world-action models (WAMs) that encodes these modalities in a single decodable continuous latent. We freeze DriveUniTok and adapt a pretrained diffusion model, DriveUniWAM, to predict future unified latents; the tokenizer then decodes them into future appearance, projected LiDAR depth, and ego trajectories. Experiments on NAVSIM demonstrate that our unified design achieves better future prediction and planning performance at lower downstream computational cost than separate-stream alternatives. With reinforcement learning post-training, DriveUniWAM achieves a PDMS of 91.54, reaching state-of-the-art performance among the evaluated WAM-based planners.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI