日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.31162

HiSTEVE 1.0：オープンワールドゲームのためのヒューマンインターフェースVLAエージェント

HiSTEVE 1.0: Harnessing Human-Interface VLA Agents for Open-World Games

シェア:XThreadsFacebookLINEはてブBluesky

Minecraftで人間のように操作する階層型VLAエージェントを提案し、長期自律性とネイティブなキーボード・マウス操作を両立させて原子タスクで85%の性能を達成した論文。

詳しい要約

1. どんなもの？

- Minecraft のような open-ended games で人間プレイヤーのように動作する virtual embodied agent を目指す研究 - 提案システムは HiSTEVE と呼ぶ hierarchical VLA agent - orchestration level: structured memory と VLM planner を持つ capability-aware agent harness - control level: 単一の VLA が vision-only perception と native keyboard-and-mouse actions で全 subtask を実行 - 長期的自律性と native-interface control の統合を狙う

2. 先行研究と比べてどこがすごい？

- 既存 agent は native visuomotor control を持つが長期的自律性に欠けるもの、または high-level planning を environment APIs や predefined skills で実行するものに分かれていた - HiSTEVE は両者を階層的に統合し、VLA の能力範囲内で subtask を選ぶ点が違い - 単一 VLA で全 subtask を native keyboard-and-mouse 操作により実行する点が特徴 - 具体的な先行研究名は要旨からは不明

3. 技術・手法の肝は？

- capability-aware agent harness による階層構成 - structured memory で進捗を追跡 - VLM planner が VLA の能力内で subtask を選択 - policy-coupled task completion state detector を導入 - VLA policy context を条件として subtask 完了候補を検出 - 制御側は単一 VLA が vision-only perception と native keyboard-and-mouse actions で動作 - GUI と non-GUI の干渉緩和のため regime-specific RMSNorm branches と separate mouse-movement token embeddings を導入 - 学習は world knowledge injection、imitation learning、environment feedback を用いた reinforcement learning を組み合わせる

4. どうやって有効だと検証した？

- MineStudio Bench で 85.0% の atomic-task performance を達成し state-of-the-art と報告 - OpenHA で平均 37.4% の success rate を記録 - 人間のように iron pickaxe をゼロから crafting する long-horizon task を完了したと報告 - 詳細な ablation や比較条件は要旨からは不明

5. 議論はある？

- 長期的自律性と native-interface control の統合という課題に対し階層型 VLA と harness で対処 - subtask 完了判定を policy-coupled に行う設計の妥当性や限界は要旨からは不明 - GUI/non-GUI 干渉緩和の各コンポーネントの寄与度は要旨からは不明 - open-ended games 一般への汎化性や失敗時の recovery の詳細は要旨からは不明

6. 次に読むべき論文は？

- Minecraft における VLA ベース agent の関連研究（例: MineDojo 系の benchmark や MineStudio Bench の論文） - VLM planner を用いた hierarchical planning の研究 - imitation learning と reinforcement learning を組み合わせた embodied agent 学習の研究 - native keyboard-and-mouse 制御による visuomotor agent の研究 - 要旨で直接参照されている個別論文名は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zecong Tang, Zian Guan, Yuncheng Guo, Zhanqiu Zhang, Yiwen Guo, Bo Dai

分類: cs.CV

原文アブストラクト

Building virtual embodied agents that operate in open-ended games like human players is a long-standing goal requiring both long-horizon autonomy and reliable native-interface control. As a procedurally generated open world, Minecraft provides a natural testbed for studying the integration of these capabilities. Existing agents typically provide either native visuomotor control without long-horizon autonomy or high-level planning executed through environment APIs or predefined skills. To bridge this gap, we propose HiSTEVE, a hierarchical VLA agent with a capability-aware agent harness. At the orchestration level, we equip the harness with structured memory for tracking progress and a VLM planner for selecting subtasks within the VLA's capabilities. To reliably determine subtask completion, we further introduce a policy-coupled task completion state detector that conditions on VLA policy context to signal candidate completion. At the control level, a single VLA executes all subtasks with vision-only perception and native keyboard-and-mouse actions. To mitigate interference between heterogeneous GUI and non-GUI interactions, we introduce regime-specific RMSNorm branches and separate mouse-movement token embeddings. We also train the VLA through world knowledge injection, imitation learning, and reinforcement learning with environment feedback to improve reliability and recovery. HiSTEVE achieves state-of-the-art atomic-task performance, scoring 85.0% on MineStudio Bench and a 37.4% average success rate on OpenHA, while also completing long-horizon tasks such as crafting an iron pickaxe from scratch like human players.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI