日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
世界モデルarXiv:2610.28594

点軌跡予測による4次元世界の学習

Learning the 4D World through Point Trajectory Forecasting

シェア:XThreadsFacebookLINEはてブBluesky

多視点動画と言語指示から将来の動画とシーン点の3D軌跡を同時予測する世界モデルVPMを提案し、ロボット制御にも応用した研究。

詳しい要約

1. どんなもの？

- マルチビュー動画履歴と言語指示を条件に、任意視点の未来動画とシーン点の3D軌跡を同時予測するworld model「Video-Point Model (VPM)」の提案。 - 点軌跡予測を動画生成と統合し、4D世界(3D+時間)の理解を狙う。 - 学習・評価用にVPM-Data(同期マルチビュー動画と点軌跡のシミュレーションコーパス)とVP-WorldBench(シミュレーション・実環境の予測ベンチマーク)を構築。 - ロボット制御へ拡張し、actionをtoken modalityとして生成器に追加。

2. 先行研究と比べてどこがすごい？

- 従来のvideo-onlyのworld modelと比較し、点軌跡のsupervisionを加えることで、動画忠実度と3D運動精度の両方を改善。 - 既存の4D生成ベンチマークでもvideo-only counterpartを上回る。 - マルチビュー動画と点軌跡を統合するデータセットVPM-DataとベンチマークVP-WorldBenchを新たに整備した点が貢献。 - action-enabledモデルでは、シミュレーション・実ロボット実験でmanipulation成功率も向上。

3. 技術・手法の肝は？

- 事前学習済みworld modelを拡張し、camera-conditioned multi-view processingで複数カメラの相補的観測を統合。 - trajectory headを追加し、物理点が時間とともにどう動くかを予測。各軌跡は全視点を通じて単一の点を追跡。 - 軌跡supervisionを動画生成と併用し、各カメラの見た目変化を共有された3D運動記述にanchor付け。 - ロボット制御ではactionをtoken modalityとして追加し、point-supervised backboneを共有して未来動画とjointlyにdenoise。

4. どうやって有効だと検証した？

- VP-WorldBenchおよび既存の4D生成ベンチマークで評価し、point supervisionがvideo-only counterpartより動画忠実度と3D運動精度を改善することを示す。 - シミュレーションおよび実ロボット実験で、action-enabledモデルのmanipulation成功率が向上することを確認。 - 評価にはVPM-Data(同期マルチビュー動画と点軌跡)とVP-WorldBench(シミュレーション・実環境)を使用。

5. 議論はある？

- 要旨からは不明。 - 点軌跡supervisionが動画生成と3D運動精度を同時に改善する一方、計算コストや実環境での軌跡取得の難しさ、マルチビュー統合の限界などは要旨に明記されていない。 - action tokenとpoint-supervised backboneの共有によるpolicyの3D-aware表現へのgroundingが議論の対象になり得るが、詳細は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で直接参照/比較されている研究は明示されていない。 - 関連手法として、video-only counterpart(比較対象の動画のみのworld model)、4D generation benchmarks、action-enabledモデル(robot control拡張)が挙げられる。 - 同分野の定番として、world model、multi-view video generation、point trajectory forecasting、robot manipulation policy learningに関する論文を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Byungwoo Jeon, Sunghwan Hong, Dohyeon Kim, Jonghoon Lee, Jungwoo Park, Inhee Lee, Doosan Baek, Jinil Kim, Taehyun Lim, Hanbyul Joo, Marc Pollefeys, Saining Xie, Jinwoo Shin

分類: cs.CV

原文アブストラクト

Reliable multi-view forecasting requires videos from different cameras to describe the same evolving 3D scene. To this end, we introduce Video-Point Model (VPM), a world model that conditions on multi-view video histories and a language instruction to jointly forecast future videos from arbitrary viewpoints and the 3D trajectories of persistent scene points. We extend a pretrained world model with camera-conditioned multi-view processing that integrates complementary observations across cameras, and add a trajectory head that predicts how physical points move through time. Each trajectory tracks a single point across all views, and supervising these trajectories alongside video generation therefore anchors appearance changes in every camera to a shared description of 3D motion. To support training and evaluation, we build VPM-Data, a simulation corpus pairing synchronized multi-view videos with persistent point trajectories, and VP-WorldBench, a forecasting benchmark spanning simulated and real environments. We further extend VPM to robot control by adding robot actions as a token modality in the generator. Action tokens share the point-supervised backbone and are denoised jointly with future videos, thereby grounding the policy in the same 3D-aware representation. On VP-WorldBench and existing 4D generation benchmarks, point supervision improves both video fidelity and 3D motion accuracy over a video-only counterpart, and in simulated and real-robot experiments, it also raises the manipulation success of the action-enabled model.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI