逆動力学/ゲームAI2026/9/29arXiv:2609.37907

ピクセルからキー入力へ：ゲームプレイ逆動力学における空間・運動手がかりの探求

Pixels to Keys: Exploring Spatial and Motion Cues in Gameplay Inverse Dynamics

ゲーム動画からプレイヤーのキー入力を推定する逆動力学モデルについて、空間運動特徴やモデル構造、学習目的が精度に与える影響をデータ制約下で分析し、マクロF1などの評価指標の重要性を示した。

詳しい要約

1. どんなもの？

ビデオゲームのゲームプレイ動画からプレイヤーのキー入力を推定する Inverse Dynamics Model (IDM) を、データ制約のある状況で研究したもの。 - 目的: 空間・運動特徴、モデルアーキテクチャ、学習目的が IDM の性能に与える影響を明らかにする。 - 対象: Trackmania と Cyberpunk 2077 のゲームプレイ。 - 評価: キーごとの指標や balanced な F1 macro を用い、失敗分析も行う。

2. 先行研究と比べてどこがすごい？

先行研究では最大 1B パラメータの大規模 IDM が約 1K-2K 時間のゲームプレイで学習され、環境間の汎化が示されている。 - しかし、個々のアクションを復元するための鍵となる要素は明らかにされておらず、集約精度のみが報告されがちで、稀なアクションの失敗が隠蔽される問題があった。 - 本研究はデータ制約下で、空間運動特徴・アーキテクチャ・学習目的の影響を評価し、per-key および balanced な指標で分析する点が異なる。

3. 技術・手法の肝は？

IDM の性能に影響する要因を制御された実験で検証。 - 前処理における motion flow extraction の重要性を確認。 - モデルアーキテクチャの選択が結果に大きく影響。 - 学習目的 (training objectives) の違いも比較。 - 評価には per-key 指標と balanced な F1 macro を採用。

4. どうやって有効だと検証した？

Trackmania での実験により、モデルアーキテクチャと motion flow extraction が重要であることを示した。 - 同じアーキテクチャと学習レシピを Cyberpunk 2077 に適用し、ゲームメカニクス間で性能が不均一であることを確認。 - per-action 評価と失敗分析により、カメラモーション、遅延効果、キー押下頻度の不均衡による曖昧さを明らかにした。

5. 議論はある？

カメラモーション、遅延効果、キー押下頻度の不均衡が IDM の性能を制限する要因として議論されている。 - 今後の実装では、3D シーン構造の明示的モデリング、長期状態の考慮、適切な損失関数の採用が必要と提言。 - 集約精度だけでなく、per-action 評価と失敗分析の重要性を強調。

6. 次に読むべき論文は？

要旨で参照/比較されている研究は明示されていないが、関連手法として大規模 IDM (最大 1B パラメータ) や motion flow extraction を用いた研究が挙げられる。 - 同分野の定番として、Video Game Inverse Dynamics, Imitation Learning from Gameplay Videos, Motion Flow などが次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Abhishek Pillai, Ekta Prashnani, Joohwan Kim, Iuri Frosio

分類: cs.AI, cs.CV

原文アブストラクト

Video games offer scalable environments for studying perception and control in embodied agents.Abundant online gameplay videos could supply demonstrations, but they rarely include player inputs for training. Inverse Dynamics Models (IDMs) have thus been proposed to infer inputs from frames. Large (up to 1B parameters) IDMs trained on $\sim$1K-2K gameplay hours demonstrate feasibility and cross-environment generalization at this scale, but researchers do not clarify what the key components are to recover individual actions and often report only aggregate accuracy that can mask rare-action failures. We study the problem in a data-constrained scenario to evaluate how spatial motion features, model architectures, and training objectives affect an IDM's outcome and we analyse our models on per-key and balanced metrics such as $F_1^{macro}$. Our experiments on Trackmania highlight the importance of factors like the model architecture and motion flow extraction in preprocessing, while also showing the limits of evaluation through unbalanced metrics. The application of the same architecture and training recipe to Cyberpunk 2077 reveals uneven performance across game mechanics. Our per-action evaluation and failure analysis highlight ambiguities from camera motion, delayed effects and imbalanced key-press frequencies that call for explicit modeling of 3D scene structure, long-term state and the adoption of proper losses in future implementations.

arXivで原文を読む →arXiv概要ページ

← 論文一覧