日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.29837

PUBG Ally:音声対話型の具現化AIチームメイト

PUBG Ally: A Conversational Embodied Agent as an AI Teammate

シェア:XThreadsFacebookLINEはてブBluesky

PUBG: BATTLEGROUNDSでプレイヤーと音声でやり取りしながら自律的に行動するAIチームメイトを構築し、約3.9万セッションの実プレイデータで訓練・評価した研究。

詳しい要約

1. どんなもの?

- PUBG: BATTLEGROUNDS 用の embodied agent「PUBG Ally」 - 音声対話可能な AI teammate としてプレイヤーと一緒にプレイ - 自律的に推論・行動し、プレイヤーの音声を解釈 - 厳しい latency 制約下で変化する game world を認識・応答 - 発話と行動を同期させ、agentic tool use と real-time game control を統合 - 言語モデル agent が制御 interface を通じて game 情報を検査 - プレイヤー発話の解釈、context 維持、発話内容の決定 - 高レベル action 選択で高速 control layer を操作(移動・戦闘・回復) - 実プレイヤーとの約 39k session からデータ収集し反復訓練 - 評価は player feedback と preference comparison を使用 - live service 展開のため model compression 等を実施 - 141 カ国で survey を実…

2. 先行研究と比べてどこがすごい?

- 従来の game AI や embodied agent と比べ、音声対話とリアルタイム制御を同時に実現 - 厳しい latency 制約下で game world を認識しつつ自然な対話を維持 - 発話と行動の同期を実現 - 単なる tool ではなく teammate/companion として認識されることを目指す - 実プレイヤーとの大規模 session データ(約 39k)を収集し反復訓練 - 実際の gameplay から得たデータで訓練する点が特徴 - offline 評価と player preference のギャップを特定し評価基準を反復改善 - live service での低遅延 on-device 実行と安全対策を実現 - 141 カ国で survey を実施し、肯定的評価が否定的評価を 25.1 ポイント上回る - 先行研究との具体的比較は要旨からは不明

3. 技術・手法の肝は?

- 言語モデル agent と高速 control layer の二層構造 - 言語モデル agent が制御 interface を通じて game 情報を検査 - プレイヤー発話を解釈し、context を維持し、発話内容を決定 - 高レベル action 選択を発行し、高速 control layer が移動・戦闘・回復を実行 - agentic tool use と real-time game control を組み合わせ - 訓練データ収集:約 39k session で gameplay、player speech、agent decisions、tool use、actions、player feedback を記録 - これらの記録を用いて反復訓練 - 評価:player feedback と preference comparison を使用 - offline 評価と player preference のギャップを特定し、評価基準を反復改善 - live service 展開のための技術: - model compression、cont…

4. どうやって有効だと検証した?

- 実プレイヤーとの約 39k session からデータを収集し、反復訓練に使用 - 評価に player feedback と preference comparison を採用 - offline 評価と player preference のギャップを特定し、評価基準を反復改善 - live service 中に 141 カ国でプレイヤー survey を実施 - Ally とのプレイが game 記録で確認された回答者において、推薦するかどうかの質問で肯定的回答が否定的回答を 25.1 ポイント上回った - プレイヤーは Ally を tool だけでなく teammate や companion と表現 - 具体的な定量評価指標や ablation は要旨からは不明

5. 議論はある?

- offline 評価と player preference の間にギャップがあることを認識し、評価基準を反復改善 - live service 展開における課題: - 低遅延 on-device 実行の必要性 - player-facing communication の safeguard - 対策として model compression、context compaction、targeted safety training、runtime guardrails、memory redaction を実施 - プレイヤーが Ally を tool ではなく teammate/companion と見なす傾向 - 制限や今後の課題についての具体的議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法として以下が挙げられる: - embodied agent - language-model agent - agentic tool use - real-time game control - model compression - context compaction - targeted safety training - runtime guardrails - memory redaction - 同分野の定番として、embodied AI や game AI における対話型 agent の研究が考えられるが、具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Beomsoo Kim, Byeongju Kim, Dohyun Kim, Dongwon Kim, Eunchong Kim, Hongmin Kim, Hyeojung Im, Hyeonbin Hwang, Hyeonghwan Kim, Hyoseok Seol, Insub Im, Irene Chen, Jaeseung Jeon, Jimin Hong, Kiyoon Yoo, Minkyoung Park, Seohyeon Jung, Seungjun Chung, Sue Hyun Park, Sungwoo Kim, Youngin Cho, Yujeong Son, Kangwook Lee, Hyunseung Kim

分類: cs.AI, cs.CL, cs.HC

原文アブストラクト

We introduce PUBG Ally, an embodied agent for PUBG: BATTLEGROUNDS that can reason, act autonomously, and play alongside players as a voice-enabled teammate. Building such a teammate requires combining two difficult capabilities: it must perceive and respond to a constantly changing game world under strict latency constraints while interacting naturally with players, keeping its speech synchronized with its actions. Ally therefore combines agentic tool use with real-time game control. A language-model agent uses a controlled interface to inspect game information, interpret player speech, maintain context, decide what to say, and issue high-level action choices that steer a faster control layer for movement, combat, and recovery. Because the player's and Ally's speech and actions continually shape each other and the course of the match, training requires data from actual gameplay. We therefore collect data across nearly 39k sessions in which real players play alongside Ally, recording gameplay, player speech, agent decisions, tool use, actions, and player feedback, and use these records for iterative training. To evaluate teammate quality, we use player feedback and preference comparisons to identify gaps between offline evaluations and player preferences, and iteratively refine the evaluation criteria. Deploying Ally in live service further requires low-latency on-device execution and safeguards for player-facing communication, which we address through model compression, context compaction, targeted safety training, runtime guardrails, and memory redaction. During the live service, we surveyed players in 141 countries. Among respondents whose play with Ally was confirmed in game records, positive responses exceeded negative responses by 25.1 percentage points when asked whether they would recommend Ally, with players describing Ally not only as a tool but also as a teammate or companion.

関連論文

PR本紙発行元 EmplifAI