ワールドモデル2026/8/30arXiv:2608.29910v1

マトリックスゲーム3.5：パッチメモリによるリアルタイムストリーミング対話型ワールドモデルの強化

Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory

本論文は、対話型ワールドモデルをリアルタイムで長時間安定生成するため、幾何認識メモリ、静的動的分解表現、二段階蒸留を導入したMatrix-Game 3.5を提案する。

詳しい要約

1. どんなもの？

Matrix-Game 3.5は、リアルタイムのインタラクティブなワールドモデルを強化するためのフレームワークである。Matrix-Game 3.0を基盤に、ジオメトリ認識と長期的な一貫性を備えたシミュレーションを実現する。具体的には、パッチメモリとtiled-PRoPEを用いた統一ジオメトリ認識メモリフレームワーク、静的・動的を分離したワールド表現、二段階のプログレッシブリアルタイム蒸留フレームワークを導入する。これにより、長時間のシーン想起、正確なカメラ制御、被写体の一貫性、プロンプト駆動のワールド生成、安定したリアルタイムのオープンワールドインタラクションを実現する。

2. 先行研究と比べてどこがすごい？

先行研究のMatrix-Game 3.0と比較して、Matrix-Game 3.5はジオメトリ認識と長期的な一貫性を大幅に向上させている。特に、追加の学習可能パラメータを導入せずに、明示的な3Dパッチ検索と射影カメラ条件付けを組み合わせることで、ジオメトリ一貫性のあるカメラ制御と長期的なシーン想起を実現している点が優れている。また、静的・動的を分離したワールド表現により、長時間生成中の被写体の同一性を維持し、二段階の蒸留フレームワークにより、双方向拡散モデルを数ステップの因果生成器に変換し、分単位のリアルタイム生成を可能にしている。

3. 技術・手法の肝は？

技術の肝は、以下の3つの主要な改善点にある。第一に、パッチメモリとtiled-PRoPEからなる統一ジオメトリ認識メモリフレームワークを提案し、追加の学習可能パラメータなしで、明示的な3Dパッチ検索と射影カメラ条件付けを組み合わせる。第二に、静的シーンジオメトリと動的被写体を別々にモデル化する静的・動的分離ワールド表現を導入する。第三に、Perceptual Flow MatchingとカリキュラムベースのSelf-Rollout DMDを用いた二段階のプログレッシブリアルタイム蒸留フレームワークを開発し、双方向拡散モデルを数ステップの因果生成器に変換する。

4. どうやって有効だと検証した？

有効性の検証は、Unrealシミュレーション環境、オープンワールドゲーム、インターネットビデオを網羅する統一トレーニングコーパスを用いて行われた。実験では、長時間のシーン想起、正確なカメラ制御、被写体の一貫性、プロンプト駆動のワールド生成、安定したリアルタイムのオープンワールドインタラクションにおいて、強いパフォーマンスを達成したことが示されている。具体的な評価指標や比較対象は要旨からは不明である。

5. 議論はある？

要旨からは、議論の余地がある点として、提案手法の複雑さや計算コスト、実世界のロボティクスやXRへの応用における限界などが考えられるが、具体的な議論は要旨には記載されていない。また、統一トレーニングコーパスの多様性が性能に与える影響や、蒸留プロセスにおける安定性なども議論の対象となり得るが、要旨からは不明である。

6. 次に読むべき論文は？

次に読むべき論文としては、要旨で参照されているMatrix-Game 3.0が挙げられる。また、関連する手法として、Perceptual Flow MatchingやSelf-Rollout DMD、双方向拡散モデル、リアルタイム生成に関する研究が考えられる。さらに、インタラクティブワールドモデルやジオメトリ認識メモリに関する既存研究も関連する。具体的な論文名は要旨に記載がないため、これらの一般名で示す。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Runjia Qian, Zile Wang, Jihai Zhang, Kai Zou, Wei Yu, Jiaxing Li, Zexiang Liu, Yaokun Li, Fei Kang, Kaichen Huang, Mengyin An, Haobo Zhang, Biao Jiang, Jiahua Wang, Haofeng Sun, Yang Liu, Yangguang Li

分類: cs.CV

原文アブストラクト

Interactive world models extend video generation from offline clip synthesis toward persistent simulation of interactive virtual worlds, enabling applications in games, robotics, embodied agents, and XR. Achieving stable long-horizon interactive generation, however, remains challenging, as the model must simultaneously preserve scene geometry, dynamic consistency, and camera control while supporting real-time autoregressive generation. Building upon Matrix-Game 3.0, we present Matrix-Game 3.5, as shown in Figure 1, which advances real-time interactive world generation toward geometry-aware and long-horizon consistent simulation through three key improvements. First, we propose a unified geometry-aware memory framework, whose patch-memory and tiled-PRoPE components introduce no additional learnable parameters, combining explicit 3D patch retrieval with projective camera conditioning to enable geometry-consistent camera control and faithful long-horizon scene recall. Second, we introduce a static-dynamic disentangled world representation that separately models static scene geometry and dynamic subjects, preserving both geometric consistency and subject identity throughout long-horizon generation. Third, we develop a two-stage progressive real-time distillation framework that converts a bidirectional diffusion model into a few-step causal generator through Perceptual Flow Matching and curriculum based Self-Rollout DMD, enabling minute-long real-time interactive generation. Extensive experiments demonstrate that, with a unified training corpus spanning Unreal simulation environments, open-world games, and internet videos, MatrixGame 3.5 achieves strong performance in long-horizon scene recall, precise camera control, subject consistency, prompt-driven world generation, and stable real-time open-world interaction.

arXivで原文を読む →arXiv概要ページ