日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2611.22314

慣性を持つ動画ワールドモデル

Inertial Video World Models

シェア:XThreadsFacebookLINEはてブBluesky

動画予測に慣性の概念を構造的に組み込み、過去のシーン情報を毎ステップ再構築せず持ち越すことで、自己回帰的な予測の誤差蓄積を抑えるInertialWorldを提案した論文。

詳しい要約

1. どんなもの?

- 物理世界の慣性に着想を得た video world model『InertialWorld』を提案する研究。 - 既存の video world model は慣性的な状態発展の明示的機構を持たず、動きや構造の連続性が video prediction に暗黙的に埋め込まれている。 - autoregressive rollout での繰り返し reconstruction が誤差を蓄積し、予測 dynamics を不安定化させる問題に対処する。 - 慣性を autoregressive prediction の structural prior とし、既存 scene evidence を毎ステップ再構成せず時間方向に持ち越す枠組み。 - 中核は『Inertial Memory』で、memory を受動的な predictive context から進化する video state へと変える。

2. 先行研究と比べてどこがすごい?

- 多くの既存 video world model は各時刻で scene を再構成する設計で、慣性的状態発展の明示的機構を欠く。 - 本手法は慣性を structural prior として組み込み、既存 scene evidence を再構成せず持ち越す点が異なる。 - memory を受動的な predictive context ではなく、進化する video state として扱う点が先行研究との差異。 - 具体的な比較対象ベースライン名は要旨からは不明だが、robot manipulation・3D game simulation・open-world navigation で strong video world model baselines に対し competitive な性能と報告。

3. 技術・手法の肝は?

- Inertial Memory を導入し、memory を進化する video state として二つの相補的表現で持つ。 - 密な Eulerian grid が scene-aligned evidence を保持する。 - 持続的な Lagrangian carriers が局所 content を学習された canonical coordinates に結びつける。 - 各ステップで action-conditioned motion に従い carrier content を transport する。 - transport された carriers と dense grid から次時刻の完全な video state を予測する。 - 学習された gate で transport 済み content と新規予測 content を統合し、次ステップの memory とする。

4. どうやって有効だと検証した?

- robot manipulation、3D game simulation、open-world navigation の複数ドメインで実験。 - strong video world model baselines との比較で autoregressive prediction 性能を評価。 - 結果として competitive な性能を達成したと報告。 - 具体的なデータセット名・指標・ablation の詳細は要旨からは不明。

5. 議論はある?

- 繰り返し reconstruction による誤差蓄積と dynamics の不安定化を動機として明示。 - 慣性を structural prior として持ち込むことで autoregressive rollout の安定性向上を狙う設計思想。 - 定量的一致度や限界、失敗ケース、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている strong video world model baselines の個別名は要旨からは不明。 - 関連手法として video world model、autoregressive video prediction、Eulerian/Lagrangian 表現、memory-augmented video prediction の代表的文献を次に読む候補として挙げる。 - 公開コード https://github.com/YuanGao-YG/InertialWorld も参照候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuan Gao, Fan Xu, Yu Guo, Yuxu Lu, Zhengru Fang, Hao Wu, Xiaomeng Huang

分類: cs.CV

原文アブストラクト

The physical world has inertia: it evolves from what already exists rather than being recreated at every instant. However, many existing video world models lack an explicit mechanism for inertial state evolution, leaving the continuity of motion and structure implicit in video prediction. During autoregressive rollouts, repeated reconstruction can accumulate errors and destabilize the predicted dynamics. To address this limitation, we introduce InertialWorld, an Inertial Video World Model that makes inertia a structural prior for autoregressive prediction: existing scene evidence is carried across time rather than reconstructed at every step. Central to this formulation is Inertial Memory, which turns memory from passive predictive context into an evolving video state with two complementary views: a dense Eulerian grid preserves scene-aligned evidence, while persistent Lagrangian carriers bind local content to learned canonical coordinates. At each step, the model transports the carrier content according to action-conditioned motion, predicts the complete next video state from the transported carriers and dense grid, and uses a learned gate to combine transported and newly predicted content into the memory for the next step. Extensive experiments across multiple domains, including robot manipulation, 3D game simulation, and open-world navigation, demonstrate that InertialWorld achieves competitive autoregressive prediction performance against strong video world model baselines. Codes link: https://github.com/YuanGao-YG/InertialWorld

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI