自動運転2026/8/24arXiv:2608.23486

GeoWAM: 自動運転のための視覚幾何学ワールドアクションモデル

GeoWAM: Visual Geometry World Action Models for Autonomous Driving

自動運転におけるワールドアクションモデルを、ピクセルではなく点群の幾何学的表現で学習し、将来のシーン幾何学を予測することで運転ポリシーの性能を向上させた。

詳しい要約

1. どんなもの？

GeoWAMは、自動運転のための視覚幾何学ワールドアクションモデル（World Action Model, WAM）である。従来のWAMがピクセル空間で将来の観測を予測するのに対し、GeoWAMは点群で表現されるシーン幾何学の将来予測を事前学習タスクとし、その学習された表現を用いてエゴ軌道予測を行う。

2. 先行研究と比べてどこがすごい？

既存のWAMはピクセル空間で動的シーンを学習するため、幾何学と運動が外観・テクスチャ・照明と絡み合い、2次元観測から3次元変換を推論する間接的な表現となる。GeoWAMは点群による幾何学を状態空間として直接用いることで、空間構造と剛体・非剛体変換を明示的に捉え、運転行動の実行空間と整合する点が優れている。

3. 技術・手法の肝は？

手法の肝は、将来のシーン幾何学（点群）を予測する事前学習と、その幾何学表現を条件とするアクションヘッドの2段構えである。ピクセル予測の代わりに幾何学予測を行うことで、空間構造と時間発展を同時に符号化する表現を獲得し、その表現をエゴ軌道予測に活用する。

4. どうやって有効だと検証した？

オープンループ評価とクローズドループ評価の両方で、画像ベースの代替手法と比較して、視覚幾何学ワールドモデリングがより強い運転ポリシーを生み出すことを実証した。

5. 議論はある？

要旨からは、幾何学予測が有効である理由の詳細な分析や、点群表現の計算コスト、センサノイズへの頑健性、実世界での適用可能性などに関する議論は不明である。

6. 次に読むべき論文は？

要旨で参照されている関連研究として、World Action Models (WAMs) の枠組みを提案した論文や、ビデオ生成ベースの将来予測モデル、点群を用いたシーン理解・予測に関する研究が挙げられる。具体的には、要旨に明記されていないため、同分野の定番である『World Models』や『Video Prediction』、『Point Cloud Forecasting』に関する論文が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiren Lu, Xin Ye, Jiaming Liu, Jin Yao, Yi-chung Chen, Liam Merino, Dhruva Dixith Kurra, Min Cai, Tom Lampo, Yu Yin, Danhua Guo, Burhan Yaman

分類: cs.CV, cs.RO

原文アブストラクト

World action models (WAMs) have recently gained increasing attention as a framework for jointly modeling scene evolution and ego actions in autonomous driving. Most existing WAMs learn scene dynamics in pixel space by combining a video-generation backbone for future-observation prediction with an action head for ego-trajectory prediction. Pixels, however, provide only an indirect representation of these dynamics: they entangle geometry and motion with appearance, texture, and illumination, forcing the model to infer three-dimensional transformations from two-dimensional observations. We argue that geometry, represented by point clouds, offers a more natural state space for driving because it explicitly captures spatial structure and the rigid and non-rigid transformations that govern scene evolution while directly aligning with the space in which driving actions are executed. Building on this insight, we introduce \textbf{GeoWAM}, a visual geometry world action model for autonomous driving. Rather than predicting future images, GeoWAM is pretrained to forecast future scene geometry, yielding representations that jointly encode spatial structure and temporal evolution. A geometry-conditioned action head then leverages these learned geometric dynamics to predict future ego trajectories. Extensive open-loop and closed-loop evaluations show that visual geometry world modeling yields substantially stronger driving policies than image-based alternatives, establishing future-geometry prediction as an effective pretraining objective for autonomous driving.

arXivで原文を読む →arXiv概要ページ