Matrix-Game 3.5、リアルタイム対話型ワールドモデルを発表 パッチメモリで長時間一貫性を実現

何が起きたか

研究チームは2026年8月30日、リアルタイム対話型ワールドモデルの新バージョン「Matrix-Game 3.5」を発表した。本バージョンは、長時間の対話型生成におけるシーン幾何学、動的一貫性、カメラ制御を同時に維持しつつ、リアルタイムの自己回帰生成を実現することを目指す。3つの主要な改良により、ジオメトリ認識と長時間一貫性のあるシミュレーションを前進させる。

詳細

Matrix-Game 3.5は、Matrix-Game 3.0を基盤とし、以下の3つの改良を導入する。第一に、追加の学習可能パラメータを導入しないパッチメモリとタイル型RoPEを組み合わせた統合ジオメトリ認識メモリフレームワークを提案。明示的な3Dパッチ検索と射影カメラ条件付けを組み合わせ、ジオメトリ一貫性のあるカメラ制御と長時間のシーン想起を実現する。第二に、静的シーン幾何学と動的主体を別々にモデル化する静的・動的分離表現を導入し、長時間生成中の幾何学的一貫性と主体の同一性を維持する。第三に、双方向拡散モデルを数ステップの因果生成器に変換する二段階のプログレッシブリアルタイム蒸留フレームワークを開発。Perceptual Flow MatchingとカリキュラムベースのSelf-Rollout DMDを用いて、分単位のリアルタイム対話型生成を可能にする。実験では、Unrealシミュレーション環境、オープンワールドゲーム、インターネット動画を統合した訓練コーパスを用いて、長時間のシーン想起、精密なカメラ制御、主体の一貫性、プロンプト駆動のワールド生成、安定したリアルタイムオープンワールド対話で強い性能を示した。

Key Facts

本紙の見方

Matrix-Game 3.5の発表は、対話型ワールドモデルの分野において、単なるビデオ生成の延長線上ではなく、持続的なシミュレーションへの転換点を示す。従来のビデオ生成モデルはオフラインのクリップ合成に留まっていたが、本モデルはリアルタイムの自己回帰生成を目指し、ゲーム、ロボティクス、具現化エージェント、XRへの応用を想定する。この点で、Matrix-Game 3.5は、生成モデルを「見る」ものから「対話する」ものへと進化させる試みと言える。 技術的な核心は、追加の学習可能パラメータを導入しないという設計にある。パッチメモリとタイル型RoPEによる統合メモリフレームワークは、明示的な3Dパッチ検索と射影カメラ条件付けを組み合わせることで、ジオメトリ一貫性のあるカメラ制御と長時間のシーン想起を実現する。これは、モデルのパラメータ数を増やさずにメモリ機能を拡張する点で、効率的な設計と言える。また、静的・動的分離表現は、シーンの静的構造と動的主体を分離することで、長時間生成における幾何学的一貫性と主体の同一性を両立させる。これは、従来の単一表現では難しかった課題への対処である。 さらに、二段階のプログレッシブリアルタイム蒸留フレームワークは、双方向拡散モデルを数ステップの因果生成器に変換する。Perceptual Flow MatchingとカリキュラムベースのSelf-Rollout DMDを組み合わせることで、分単位のリアルタイム生成を可能にする。この蒸留プロセスは、拡散モデルの高品質を維持しつつ、推論速度を劇的に向上させる点で重要である。 業界構造への含意として、この技術はゲーム開発やロボティクスシミュレーションのコストを削減する可能性がある。従来の物理シミュレーションや手動によるシーン構築に代わり、プロンプト駆動で動的なワールドを生成できるため、開発プロセスを変革し得る。また、具現化エージェントの訓練環境としても、多様なシナリオをリアルタイムに生成できる点で価値がある。 一方で、未確定の論点も残る。具体的には、実際の計算リソースや推論速度の詳細、訓練データの規模と多様性、そして長時間生成における安定性の限界が挙げられる。論文では「分単位のリアルタイム生成」と述べられているが、具体的なフレームレートやハードウェア要件は明示されていない。また、オープンワールドゲームでの実用性を検証するには、より大規模なユーザー評価が必要であろう。

なぜ重要か

Matrix-Game 3.5は、対話型ワールドモデルを実用化に近づける技術的進歩であり、ゲームやロボティクス、XRなどの分野での応用可能性を広げる。特に、追加パラメータなしでのメモリ拡張とリアルタイム生成の両立は、今後の生成モデルの設計指針となる。読者にとっては、AIによる動的シミュレーションが現実のものとなる兆しを示す。