LiveAct: 異種アクションインターフェースを備えたリアルタイムマルチエージェント世界モデル

- 複数の制御エージェントを含む環境の将来映像を生成する multi-agent video world modeling の研究。 - 単一エージェント・単一タスク前提の既存 interactive video world model と異なり、binary game buttons から連続 robot commands まで heterogeneous な制御を解釈する。 - LiveAct というモデルを提案し、Heterogeneous Action Interface (HAI) を中核とする。 - 6つの multi-agent データソース(ゲームと multi-robot manipulation)で検証。

- 既存の interactive video world model は主に単一制御エージェント・タスク固有の action interface を仮定していた。 - 本研究は複数エージェントの joint visual future を生成しつつ、heterogeneous な制御を同一モデルで扱う点が新しい。 - エージェント位置や identity crops なしで agent-attribution accuracy 0.898(ゲーム)・0.942(ロボット操作)を達成。 - causal generator で 512×448 において 17.70 FPS の streaming 生成を実現。

- Heterogeneous Action Interface (HAI) を提案し、2つの課題に対応する2コンポーネントで構成。 - Agent-Aware Spatial Modulation: language-driven spatial gates と agent-specific attention により、各 action stream を対象の視覚エージェントに結びつける。 - Schema-Guided Action Adaptation: 各制御変数を言語で記述し、その semantic token を同期した数値で変調することで、タスク間で意味が変わる制御次元に対応。 - 完全な interface を teacher forcing と rollout-aware distribution matching により blockwise causal generator へ転移し、効率的な streaming 生成を実現。

- ゲームと multi-robot manipulation にまたがる6つの multi-agent ソースで定式化を実装。 - visual quality、action following、agent attribution、latency を評価。 - agent-attribution accuracy はゲームで 0.898、ロボット操作で 0.942 をエージェント位置や identity crops なしで達成。 - causal generator は 512×448 で 17.70 FPS を達成。

- 要旨からは不明。 - 評価項目として visual quality・action following・agent attribution・latency が挙げられているが、個別の限界や失敗ケースについての記述は要旨にはない。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として interactive video world model、video world model、blockwise causal generator、teacher forcing、rollout-aware distribution matching が挙げられる。 - 同分野の定番として、action-conditioned video prediction や multi-agent world model の関連研究を次に読む候補として検討できる。