PhysWAM: 自動運転のための物理的に整合した世界行動モデル

- 自動運転向けの統合 world-action model (WAM) である PhysWAM を提案。 - 単一の flow-matching transformer 内で multiview video、metric depth、ego motion を同時に denoise する。 - 世界予測と行動生成を測定された scene geometry に接地させるため Coupled Point Projection (CPP) を導入。 - 推論時の trajectory selection は label-free な consensus rule のみで行う。

- 従来の WAM は joint generation を行うが、予測間に共有の幾何制約を課していなかった。 - PhysWAM は CPP により生成 depth と ego motion を LiDAR 点群と結びつけ、物理的整合性を直接監督する。 - 学習済み scorer や simulator feedback を使わず、単純な選択規則でも強い planning 性能と zero-shot 転移を達成。 - 要旨からは、比較対象の具体的な先行研究名は不明。

- 単一の flow-matching transformer で multiview video、metric depth、ego motion を co-denoise する。 - Coupled Point Projection (CPP): 生成 depth を 3D 点に unproject し、生成 SE(3) ego motion で変換。 - 記録された ego motion で変換した LiDAR 点との距離を最小化する幾何制約を課す。 - この制約は生成 depth と motion を標準の flow-matching 目的と共に jointly supervise する。 - 推論時は label-free consensus rule のみで trajectory を選択。

- NAVSIM v1 および v2 の planning で評価。 - zero-shot closed-loop transfer を検証。 - future video と metric-depth prediction を評価。 - CPP が planning と depth prediction の両方を改善することを示す。 - 単純な選択手順にもかかわらず強い planning 性能と未見環境への zero-shot 転移を確認。

- 要旨からは、限界や議論の詳細は不明。 - 単純な label-free consensus rule でも強い性能が得られる点が強調されている。 - CPP が planning と depth prediction を改善することが示されている。 - 幾何関係が world と action 生成を結合する直接的な手段であると主張。

- 要旨で参照/比較されている具体的な研究は不明。 - 同分野の関連手法として world-action models (WAMs)、flow-matching transformer、NAVSIM benchmark が挙げられる。 - 関連研究を探す際は autonomous driving における world model や planning の定番手法を参照するとよい。