arXiv、複数エージェント向け世界モデル「LiveAct」を公開

何が起きたか

arXivは2026年10月21日付で、複数エージェント向けのリアルタイム世界モデル「LiveAct」を公開した。論文は、二値のゲームボタンから連続値のロボット操作まで異なる制御入力を受け取りながら、複数の制御対象の将来映像を同時に生成する枠組みを提案している。評価はゲームとマルチロボット操作を含む6つのソースで行われ、512×448解像度で17.70 FPSの生成速度と、エージェント帰属精度0.898および0.942を示した。

詳細

LiveActは、Heterogeneous Action Interface（HAI）を中核に据える。論文では、このインターフェースを「各エージェントの行動列を意図した視覚エンティティに独立に結びつけること」と「タスクごとに異なる制御変数の意味を扱うこと」の2点に分けて整理している。 実装面では、Agent-Aware Spatial ModulationとSchema-Guided Action Adaptationの2機構を導入した。前者は言語駆動の空間ゲートとエージェント固有の注意を用いて制御列と視覚対象を対応づけ、後者は各制御変数を言語で記述し、同期した数値値で意味トークンを変調する。さらに、教師あり強制とrollout-aware distribution matchingを通じて、この完全なインターフェースをblockwise causal generatorへ移し、ストリーミング生成を可能にした。

Key Facts

本紙の見方

LiveActの新しさは、単一エージェント前提の世界モデルをそのまま拡張するのではなく、複数の制御入力と複数の視覚対象を同時に扱う設計に置いた点にある。特に、ゲームのボタン操作のような離散入力と、ロボットの連続命令のような異種の制御を同じ枠組みで受け止めるために、HAIを「エージェント対応」と「制御意味の適応」に分解している点が核である。これは、リアルタイム生成そのものよりも、制御の解釈と帰属を崩さずに流す設計が本質だと読める。 本紙の関連記事はないため、ここでは同論文内の構成だけを手がかりにすると、Agent-Aware Spatial Modulationは「誰の操作か」を空間的に切り分ける部分、Schema-Guided Action Adaptationは「その操作が何を意味するか」をタスク横断で解釈する部分に相当する。つまり、入力→意味解釈→視覚生成という流れを、単一の条件付けではなく二層の制御として設計している。論文が6ソースをゲームとマルチロボット操作にまたがって置いたのも、この二層設計が異種環境で成立するかを見せるためだとみられる。 業界構造でみると、この種のモデルは世界モデル研究の焦点を「未来画像の生成品質」だけでなく、「複数主体の帰属可能性」と「異種アクションの共通表現」に移している。ロボット側では、連続制御を言語記述と同期数値で扱うため、制御表現の設計が学習データやアノテーション方式に影響しうる。ゲーム側では、複数主体の同時操作を前提にした評価軸が必要になるため、単一行動の精度だけでは性能を測れない。0.898と0.942という帰属精度は、少なくともその評価軸を提示している。 未確定の論点は、論文が示した性能がどの条件で維持されるかである。6ソースの内訳、各ソースごとの失敗パターン、学習に使ったデータ規模、推論時のメモリ要件、単一エージェントモデルとの比較条件、そしてロボット命令の具体的な形式は、要旨からは読み切れない。ストリーミング生成を実運用へつなげるには、17.70 FPSがどのタスク難度・どの同時エージェント数まで保てるかの確認が必要になる。

なぜ重要か

論文が示したのは、複数主体の操作を同時にさばく世界モデルで、エージェント帰属精度と生成速度を同時に評価する必要があるという点である。これは、ゲームやロボットのように制御の意味が異なる環境を同じモデルで扱う際、単なるフレーム生成では足りないことを示している。

日本への影響

日本のロボット研究や産業で論点になるのは、連続制御を言語記述と数値値で結びつけるHAI型の設計が、実機の操作ログや制御仕様の表現方法にどこまで適用できるかである。特に、マルチロボット操作を含む評価が行われているため、複数台を同時に扱う制御データの整備や、帰属精度を測る評価設計が重要になる。