VLA2026/9/9arXiv:2609.10522

Show-Harness: VLMエージェントだけでロボットを操作

Show-Harness: Just a VLM Agent Can Play Robots

VLMが離散的な意味アクション単位を通じてロボットを直接制御できる「Embodied Harness」を提案し、GUIベースのデモ収集インターフェースGUMIも開発した。

詳しい要約

1. どんなもの？

- 基盤VLMをロボット制御に活用するためのEmbodied Harness「Show-Harness」を提案。 - 意図と行動を結ぶコンパクトなsemantic interfaceを介し、VLMがロボットを「play」できるようにする。 - 離散的なsemantic action unitsをVLMが推論し、embodiment-specific interpretersが局所的なロボット行動に決定論的に接地する。 - 閉源のfrontier VLMのzero-shot制御と、小規模open-source VLMの低コスト適応の両方を実現可能にする。 - GUIベースのデモ収集を可能にするGUMIも開発し、専用teleoperationハードウェアなしで人間とエージェントがロボットを操作できる。

2. 先行研究と比べてどこがすごい？

- 従来のagenticやVLAパラダイムと比較して、タスク・embodiment・環境をまたいで頑健に汎化し、性能で上回る。 - 追加のモデル容量や高コストなembodiment-specific pretrainingを必要とせず、基盤VLMから実質的なembodied capabilityを引き出せる。 - 閉源frontier VLMのzero-shot制御を直接可能にし、小規模open-source VLMも数GPU時間のfine-tuningで低コスト展開できる。 - 同じsemantic action spaceをGUIベースのデモ収集に拡張し、専用teleoperationハードウェアを不要にした点が新しい。

3. 技術・手法の肝は？

- 意図と行動を結ぶコンパクトなsemantic interfaceを設計。 - VLMが自然に推論できる離散的なsemantic action unitsを公開。 - embodiment-specific interpretersがそれらを決定論的に局所ロボット行動に接地。 - VLMが細粒度の物理的決定に直接責任を持つ構造。 - GUMIにより同じsemantic action spaceをGUIベースのデモ収集に拡張。

4. どうやって有効だと検証した？

- 広範な実験を実施し、Show-Harnessを備えたVLMエージェントがタスク・embodiment・環境をまたいで頑健に汎化することを示した。 - 代表的なagenticおよびVLAパラダイムを上回る性能を確認。 - 閉源frontier VLMのzero-shot制御と、小規模open-source VLMの数GPU時間のfine-tuningによる適応の実現可能性を実証。

5. 議論はある？

- 適切なinterfaceが、追加のモデル容量や高コストなembodiment-specific pretrainingなしに、基盤VLMから実質的なembodied capabilityを引き出せることを示唆。 - 具体的な限界や失敗事例、議論の詳細は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: agentic paradigms, VLA paradigms。 - 関連手法: GUMI (GUI Manipulation Interface), Embodied Harness, semantic action units, embodiment-specific interpreters。 - 同分野の定番: Vision-Language-Action (VLA) models, robot learning, teleoperation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yanzhe Chen, Zechen Bai, Zhijun Cao, Wenzheng Zeng, Kevin Qinghong Lin, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Qiming Huang, Mike Zheng Shou

分類: cs.RO, cs.AI, cs.CV, cs.MM

原文アブストラクト

Foundation vision-language models (VLMs) exhibit broad intelligence about the world, yet translating this intelligence into robot control remains challenging. We present Show-Harness, an Embodied Harness that enables VLMs to "play" robots through a compact semantic interface linking intent to action. Show-Harness exposes discrete semantic action units that VLMs can naturally reason over, while embodiment-specific interpreters deterministically ground them into local robot actions, keeping the VLM directly responsible for fine-grained physical decisions. Through the same interface, Show-Harness demonstrates the feasibility of (1) directly unlocking closed-source frontier VLMs for zero-shot robot control, and (2) adapting small-scale open-source VLMs for low-cost deployment with just a few GPU-hours of fine-tuning. We further develop GUMI (GUI Manipulation Interface), which extends the same semantic action space to GUI-based demonstration collection, allowing humans and agents to "play" robots across embodiments without specialized teleoperation hardware. Extensive experiments show that Show-Harness-equipped VLM agents generalize robustly across tasks, embodiments, and environments, outperforming representative agentic and VLA paradigms. These results suggest that the right interface can unlock substantial embodied capability from foundation VLMs, without requiring additional model capacity or costly embodiment-specific pretraining.

arXivで原文を読む →arXiv概要ページ