GameWAM: ビデオゲームのためのワールドアクションモデル

GameWAMは、ビデオゲーム向けの初のWorld-Action Model (WAM)であり、ネイティブなclosed-loop gameplayとGUI制御を実現する。将来の視覚観測と実行可能なキーボード・マウスの軌跡を、並列的な視覚・行動生成プロセス（block-causal conditioningとflow matchingを使用）で同時に生成する。ゲームプレイとGUIの同期軌跡を構築し、異種ネイティブ制御を扱うために、各アクションステップでゲームプレイ/GUIモードを予測し、モード固有の予測分布と連続アクション正規化でアクションを生成する。長期的なインタラクションには、block-cycle controlを用いて、コミットしたホライズンを超えて予測し、短いアクション接頭辞のみを実行して再計画する。

既存のゲームエージェントは視覚とタスクコンテキストを直接アクションにマッピングするが、明示的な世界ダイナミクスモデリングを欠く。一方、インタラクティブなゲーム世界モデルは供給されたアクションから視覚的未来を予測するが、タスクポリシーとしては機能しない。GameWAMはこれらを統合するWAMをビデオゲームのダイナミクスとオープンエンドなインタラクションに初めて適用した点が新しい。

手法の肝は、並列的な視覚・行動生成プロセスとblock-causal conditioning、flow matchingによる生成。異種ネイティブ制御への対応として、ゲームプレイ/GUIモード予測とモード固有の予測分布、連続アクション正規化。長期的なインタラクションにはblock-cycle control（コミットしたホライズンを超えて予測し、短いアクション接頭辞のみ実行、再計画）と、サイクル内の細かいコンテキストと階層的なクロスサイクル履歴で時間的一貫性を維持。

実験では、比較エージェントと比べて、より少ない実行ネイティブアクションで競争力のあるタスク成功率を示した。また、Low-Frequency Action Source Imprinting (LASI)現象を発見し、固定条件付けの下でサンプリングされたアクションソースの低周波成分が粗いカメラモーションを系統的に偏らせることを明らかにした。

LASI現象は、生成制御におけるソース感度の失敗モードを示しており、生成アクションの低周波成分がカメラ動作に影響を与えることが示唆される。これは、生成制御の安定性や制御性に関する議論を呼ぶ可能性がある。また、GameWAMの有効性は示されたが、スケーラビリティや他のゲームへの一般化については要旨からは不明。

要旨で参照されている関連研究として、World-Action Models (WAMs)の概念、既存のゲームエージェント、インタラクティブなゲーム世界モデルが挙げられる。具体的な論文名は不明だが、これらの分野の定番論文（例：World Models、Dreamer、GameGANなど）を読むことが推奨される。