日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.13819

ゲーム操作データと予測事前学習による具現化AIの強化

Game-Enhanced Embodied Learning with Event and Foresight Pretraining

シェア:XThreadsFacebookLINEはてブBluesky

ゲームのキーボード・マウス操作と映像を大規模に事前学習させ、ロボットポリシーの初期化に活用。LIBEROベンチマークで成功率が85.9%から90.6%へ向上した。

詳しい要約

1. どんなもの?

- ゲームプレイデータを用いた事前学習の研究 - 対象モデルは InternVLA-A1.5 - recorded keyboard/mouse event prediction と、frozen video model による history-conditioned visual supervision を組み合わせた event-and-foresight pretraining - ゲーム由来の観察・行動・視覚的結果を robot-policy 学習の補助に使う - 評価は LIBERO の4スイートで、ゲーム事前学習後の初期化と公開 base を同一の robot fine-tuning protocol で比較

2. 先行研究と比べてどこがすごい?

- 公開 base の初期化と比較し、LIBERO 4スイート合計の成功率が 1,718/2,000 (85.90%) から 1,811/2,000 (90.55%) へ改善 - 4.65 percentage points の向上 - スイート別改善は Spatial 9.2、Object 6.8、Goal 0.2、Long 2.4 points - 40タスクでは 24 改善、10 悪化、6 引き分け - ただし比較には追加の最適化が含まれ、game data・2つの目的・training variability の効果を分離していないと明記

3. 技術・手法の肝は?

- InternVLA-A1.5 に対する event-and-foresight pretraining - recorded keyboard/mouse event prediction - frozen video model を用いた history-conditioned visual supervision - coverage-preserving anchor selection により one-second targets を構築 - attention mask により teacher-forced future actions が foresight queries に入るのを防止 - コーパスは 20 games、394 recordings、223.36 hours の timestamp span、2,072,084 training anchors - 12,400 game-pretraining updates を実施

4. どうやって有効だと検証した?

- ゲーム事前学習後の初期化と公開 base を、同一の suite-specific robot fine-tuning protocol で比較 - LIBERO の4スイートで集計成功率を比較 - 1,718/2,000 (85.90%) から 1,811/2,000 (90.55%) へ - スイート別および40タスク別の内訳を報告 - 24 改善、10 悪化、6 引き分け - 結果は完全な game-pretraining stage の実用的価値を支持すると結論

5. 議論はある?

- タスクごとの結果が異質であることを明示 - 改善24、悪化10、引き分け6 - 比較には追加の最適化が含まれ、game data、2つの目的、training variability の効果を分離できないと限界を述べる - 評価設定における完全な game-pretraining stage の実用的価値は支持されるが、要因分解は未解決 - その他の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている公開 base の InternVLA-A1.5 - 同一手法内の構成要素である event prediction と foresight pretraining(frozen video model による history-conditioned visual supervision) - 評価に用いられた LIBERO ベンチマーク - 関連する robot-policy 学習や video model を用いた visual supervision の研究は要旨に明示なし

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lianlei Shan, Han Jin, Yaunchao Ma, Xinpeng Chen, Linhao Zhou, Xin Bin

分類: cs.RO

原文アブストラクト

Human gameplay supplies paired observations, actions, and visual consequences that can supplement robot-policy training. We study event-and-foresight pretraining for InternVLA-A1.5, combining recorded keyboard/mouse event prediction with history-conditioned visual supervision through a frozen video model. Coverage-preserving anchor selection constructs one-second targets, and an attention mask prevents teacher-forced future actions from entering foresight queries. The selected corpus contains 394 recordings across 20 games, with 223.36 hours of recorded timestamp span and 2,072,084 training anchors. After 12,400 game-pretraining updates, we compare the resulting initialization with the public base under the same suite-specific robot fine-tuning protocol. Across four LIBERO suites, aggregate success increases from 1,718/2,000 (85.90%) to 1,811/2,000 (90.55%), a gain of 4.65 percentage points. Suite gains are 9.2, 6.8, 0.2, and 2.4 points on Spatial, Object, Goal, and Long. The 40-task breakdown shows 24 improvements, 10 declines, and six ties. These results support the practical value of the complete game-pretraining stage in this evaluated setting, while revealing heterogeneous task outcomes. The comparison includes additional optimization and does not isolate the effects of game data, the two objectives, or training variability.

関連論文

  1. 1パナソニックHDら、ロボット操作AI「T-Rex」を共同開発 12タスクで平均成功率65%研究・技術
  2. 2Hugging Face、ロボット学習基盤「LeRobot v0.7.0」を公開 対話操作と大規模データ学習に対応新製品・発表
  3. 3NVIDIA、Vera CPUのエージェント処理性能を公表 x86比で速度・電力効率を比較半導体・GPU
  4. 4Agility、SPAC合併でナスダック上場資金調達
  5. 5AgiBot、基盤モデル「GO-3 Preview」を発表 身体性AIの3ベンチマークで首位新製品・発表
PR本紙発行元 EmplifAI