GeoState: 視点非依存の幾何状態を学習する3D世界モデリング

- 3D world modeling のための view-decoupled な geometry 表現 GeoState を提案する研究。 - geometry foundation models (GFMs) の特徴を predictive world state として使う際、view 依存性が scene dynamics と camera 由来の変動を絡ませ予測を難しくする問題に対処。 - scene tokenizer が multi-view GFM 特徴を view-decoupled な scene state に集約し、geometry decoder が camera ray でクエリ。 - autoregressive world model が未来の scene state を予測し、camera motion は別途モデル化。

- 従来の 3D world models は GFM 特徴の view 依存性により scene dynamics と camera 変動が絡み、state evolution の予測が困難だった。 - GeoState は scene-state evolution と camera-dependent observation を分離することでこの問題を緩和。 - 予測 state を predicted または externally specified cameras の下で decode 可能。 - rollout 全体で単一の context-derived scale を保持し、per-frame scale alignment を不要にする点が先行研究と異なる。 - 実験で Waymo 上の prior 3D world models を上回る。

- scene tokenizer が multi-view GFM 特徴を view-decoupled な scene state に集約。 - geometry decoder が camera ray を用いて scene state をクエリ。 - autoregressive world model が未来の scene state を予測。 - camera motion を別途モデル化し、scene-state evolution と camera-dependent observation を分離。 - 予測 state は predicted / externally specified cameras のいずれでも decode 可能。 - rollout 中に単一の context-derived scale を保持し per-frame scale alignment を不要にする。

- Waymo 上で prior 3D world models を上回る性能を示した。 - 幾何的に一貫した cross-view querying をサポートすることを示した。 - KITTI と nuScenes へ zero-shot で汎化することを示した。 - 具体的な評価指標やベースラインの詳細は要旨からは不明。

- 要旨からは不明。 - view-decoupled 表現により scene dynamics と camera 変動の絡みを緩和する利点が示唆されるが、限界や失敗ケースの議論は要旨に記載なし。

- 要旨で参照/比較されている prior 3D world models（Waymo 上のベースライン）。 - geometry foundation models (GFMs)。 - 関連データセット: Waymo, KITTI, nuScenes。 - 具体的な論文名は要旨からは不明。