日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.18397

Gamer: 長期的リアルタイムゲームエージェント向け汎用視覚言語行動基盤モデル

Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent

シェア:XThreadsFacebookLINEはてブBluesky

数万時間のキーボード・マウス操作データで事前学習し、マルチターン強化学習とクラウドエッジ推論で2D/3Dゲームをリアルタイムに長時間プレイできる汎用VLAエージェントを構築した。

詳しい要約

1. どんなもの?

- 複雑なインタラクティブ環境での long-horizon タスク向けの generalist agent framework「Gamer」 - end-to-end アーキテクチャで perception・memory management・multi-step reasoning を統合 - 2D グラフィカルインターフェースと 3D シミュレーション世界の両方に対応する共通の training/deployment pipeline を持つ - 数十万時間規模の device-level keyboard/mouse 操作データで事前学習 - 3D オープンワールドゲームや 2D ゲーム benchmark で評価された Vision-Language-Action 基盤モデル

2. 先行研究と比べてどこがすごい?

- 従来のゲーム特化エージェントではなく、2D/3D を横断する generalist な Vision-Language-Action foundation model として構築 - 物理環境と仮想環境の両方の trajectories を用い、physical/virtual 両ドメインの環境ダイナミクスを学習 - sparse-thinking instruction tuning により、複雑な意思決定に必要な reasoning を保ちつつ冗長計算を大幅削減 - finite context windows・rollout error の蓄積・sparse rewards に対処する安定した multi-turn reinforcement learning を採用 - cloud-edge inference engine により多数の simulated game environments を同時実行し、unbounded-context 実行と低遅延 online inference を両立 - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- 数十万時間の device-level keyboard/mouse 操作 trajectories から成る dataset で continue pre-training - 該当 trajectories は simulated games と embodied environments にまたがり、環境ダイナミクスを学習 - sparse-thinking instruction tuning で冗長計算を削減 - long-horizon interaction 向けに、finite context windows・accumulated rollout errors・sparse rewards に対処する stable な multi-turn reinforcement learning で policy を訓練 - cloud-edge inference engine が多数の simulated game environments を並行処理し、unbounded-context execution と低 latency を実現 - perception・me…

4. どうやって有効だと検証した?

- 複数の挑戦的な 3D open-world games で、skilled players に匹敵する generalization と operational efficiency を実証 - 複数の conventional 2D game benchmarks でも競争力のある結果を達成 - 反復的な keyboard/mouse trajectories でも data と learning algorithms の scaling により大きな改善が得られることを示唆 - 物理的性質とデジタル的性質を併せ持つ環境で複雑な技能をより安定して学習できることを確認 - 具体的な benchmark 名・被験者数・定量指標は要旨からは不明

5. 議論はある?

- 反復的な keyboard/mouse trajectories であっても、data と learning algorithms の scaling で大幅な性能向上が可能という示唆 - 物理環境とデジタル環境の両方の性質を持つ環境で、複雑な技能をより安定に学習できる可能性 - digital と physical の両世界で相互作用できる generalist agents への道筋を提示 - 限界・失敗事例・計算コスト・安全性・倫理面の議論は要旨からは不明 - 実世界 embodied 環境への直接適用可能性の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として Vision-Language-Action (VLA) foundation model の代表的研究 - multi-turn reinforcement learning を用いた long-horizon agent 研究 - instruction tuning による推論効率化(sparse-thinking 系)の研究 - cloud-edge inference / unbounded-context 実行に関する研究 - 3D open-world game 向け generalist game agent の benchmark 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Run Luo, Kuan Zhang, Qi Deng, Yukun Chen, Zhihao Yang, Yufei Zhang, Renrong Hu, Yi Zhang, Guiyu Ma, Tianyu Fan, Longze Chen, Hao Sun, Jiaming Li, Jiaming Yang, Xiaohao Liu, Tao Tan, Minzheng Wang, Hangtian Jia, Shuai Yuan, Lvdi Wang, Xiao Liu, Chao Ma, Yuting Zou, Yinhe Zheng, Xiaobo Xia, Dawei Jiang, Shaoqing Ren

分類: cs.CL, cs.AI, cs.CV

原文アブストラクト

We introduce Gamer, a generalist agent framework built for long-horizon tasks in complex interactive environments. Its end-to-end architecture combines perception, memory management, and multi-step reasoning. A shared training and deployment pipeline supports interaction with both conventional 2D graphical interfaces and complex 3D simulated worlds. We first continue pre-training on a dataset constructed from tens of thousands of hours of device-level keyboard and mouse interaction. These trajectories span simulated games and embodied environments, allowing the model to learn environmental dynamics across both physical and virtual domains. Sparse-thinking instruction tuning then substantially reduces redundant computation while preserving the reasoning needed for complex decisions. We train the policy for long-horizon interaction with a stable multi-turn reinforcement learning method that addresses finite context windows, accumulated rollout errors, and sparse rewards. For real-time interaction, a cloud-edge inference engine serves numerous simulated game environments concurrently, supports unbounded-context execution, and keeps online inference latency low. Across multiple challenging 3D open-world games, Gamer demonstrates solid generalization and operational efficiency comparable to skilled players. It also achieves competitive results on a range of conventional 2D game benchmarks. These results suggest that even repetitive keyboard and mouse trajectories can support substantial gains from scaling data and learning algorithms. Training on these trajectories helps Gamer learn complex skills more steadily in environments with both physical and digital properties. This approach offers a path toward generalist agents that can interact across digital and physical worlds.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI