日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

4D空間推論arXiv:2611.19803

潜在空間で進化する4D世界をモデリングする動的空間推論フレームワークPros4D

Pros4D: Modeling Evolving 4D Worlds in Latent Space for Dynamic Spatial Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

単眼動画から観測済みの動的3D環境を潜在状態に圧縮し、それを自己回帰的に未来へ展開することで、観測範囲を超えた未来の動きも予測できる4D空間推論モデルを提案した。

詳しい要約

1. どんなもの?

- 単眼動画から動的な3D環境の時間変化を理解するVLM向けフレームワーク - 観測済みダイナミクスの理解(retrospective)と観測境界を超えた将来予測(prospective)を統合 - 進化する4D世界をlatent spaceでモデル化するPros4Dを提案 - Pros4D-Engine(データ生成)とPros4D-Bench(評価)を含む構成 - 動的カメラ・物体・シーンをカバーする8つの空間タスクカテゴリに対応

2. 先行研究と比べてどこがすごい?

- 既存研究は主に観測済みダイナミクスの理解に限定 - 動的環境のエージェントには観測境界を超えた将来ダイナミクス予測も必要と指摘 - 外部の幾何処理やテキスト記述は推論の複雑化や連続ダイナミクスの情報損失を招く - 観測を保持しつつ入力動画を超えて予測可能な共有内部状態を提案 - 強いbaselineに対し両能力で一貫した改善を報告

3. 技術・手法の肝は?

- Pros4D-Engineがgeometry-grounded supervisionを導出し両タスクのpaired examplesを構築 - モデルは観測ダイナミクスをlatent observed statesに圧縮 - それらをautoregressivelyにlatent future statesへ展開 - 4D Latent Alignment (4DLA)がvisual-semantic supervisionとgeometric supervisionで状態を接地 - joint language supervisionが状態とタスク推論を接続

4. どうやって有効だと検証した?

- Pros4D-Benchで8つの空間タスクカテゴリにわたり評価 - 動的カメラ・物体・シーンを対象に含む - 複数benchmarkで強いbaselineと比較し両能力の一貫した改善を確認 - 具体的な数値や個別benchmark名は要旨からは不明

5. 議論はある?

- 外部幾何処理やテキスト記述に依存しない共有内部状態の有効性を主張 - 観測理解と将来予測の統合という設計上の利点を提示 - 限界・失敗事例・計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- Pros4D-Benchの詳細と8タスクカテゴリの設計 - 4D Latent Alignment (4DLA)のsupervision設計 - 比較対象のstrong baselines(具体的名称は要旨からは不明) - 関連分野の定番としてmonocular videoからのdynamic spatial reasoningやVLMの物理世界理解研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rongxin Gao, Dongxuan Liu, Chu Li, Chengyang Ji, Jialing Huang, Runyu Chen, Kairun Wen, Chenxin Li, Jingrui Ye, Haosong Zhen, Xinghao Ding, Yue Huang, Yuzhi Huang, Xiaodong Tu, Jingyan Jiang

分類: cs.CV

原文アブストラクト

Dynamic spatial reasoning from monocular video enables vision-language models (VLMs) to understand how 3D environments evolve over time, supporting physical world understanding and embodied intelligence. Existing efforts primarily address observed-dynamics understanding, whereas agents in dynamic environments also require future-dynamics prediction beyond the observation boundary. Moreover, external geometric processing and textual descriptions can increase inference complexity or lose information when representing continuous dynamics. These limitations motivate a shared internal state that preserves observed dynamics and remains predictive beyond the input video. Accordingly, we present Pros4D, a framework for modeling evolving 4D worlds in latent space that unifies retrospective understanding of observed-dynamics with prospective reasoning for future-dynamics prediction. Specifically, Pros4D-Engine derives geometry-grounded supervision and constructs paired examples for both tasks, while Pros4D-Bench evaluates them across eight spatial task categories spanning dynamic cameras, objects, and scenes. At the model level, Pros4D compresses observed dynamics into latent observed states and autoregressively rolls them forward into latent future states. 4D Latent Alignment (4DLA) grounds these states through complementary visual-semantic and geometric supervision, while joint language supervision connects them to task reasoning. Experiments across benchmarks show consistent improvements over strong baselines in both capabilities.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI