日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.17746

人間とVLAのコミュニケーションギャップ:人間が暗黙に残す情報とポリシーが復元できないもの

The Human--VLA Communication Gap: What Humans Leave Implicit and What Policies Cannot Recover

シェア:XThreadsFacebookLINEはてブBluesky

人間が自然にタスクを指示する際の暗黙的な情報の欠落と、VLAポリシーがそれをどう補えないかを「情報ギャップ」と「実行ギャップ」に分けて分析した研究。

詳しい要約

1. どんなもの?

- 人間が自然言語で依頼した際にVLAが失敗する現象を扱う - human--VLA communication gapを二つに分離 - information gap: task semantics, grounding, event structureが未解決 - execution gap: 完全に指定済みでも組織化・呼び出し方に依存 - 人間が実演目標をどう自然に表現するかを特徴づけ - 同一物理タスクの統制された変種を評価 - π_{0.5}を詳細分析、π_0-FASTとCosmos3-Edgeで一貫傾向

2. 先行研究と比べてどこがすごい?

- 従来はVLAの失敗を単一の能力不足として扱いがち - 本研究はinformation gapとresidual execution gapを分離 - 人間の自然な指示表現の特性を体系的に特徴づけ - タスク拡大に伴い人間が指示を圧縮し、contextual groundingとimplicit execution structureに依存することを示す - 現行policyがこの人間行動とmisalignedである点を指摘

3. 技術・手法の肝は?

- 人間が実演目標を自然に表現する方法を特徴づけ - 同一物理タスクの統制された変種を評価 - information gapとexecution gapを分離して分析 - π_{0.5}を詳細分析 - π_0-FASTとCosmos3-Edgeで傾向の一貫性を確認 - command granularityとinvocation stateへの感度を検証

4. どうやって有効だと検証した?

- 同一物理タスクの統制された変種を評価 - π_{0.5}で詳細分析 - π_0-FASTとCosmos3-Edgeで一貫した傾向を確認 - information gap解消後もexecutionがcommand granularityとinvocation stateに敏感であることを示す - 具体的な検証指標やデータセットは要旨からは不明

5. 議論はある?

- 人間はタスク拡大に伴い指示を圧縮しcontextual groundingとimplicit execution structureに依存 - 現行policyはgrounding依存には比較的耐える - しかしtask semanticsやevent structureの再構成が必要な場合に苦戦 - information gap解消後もexecution gapが残る - human-centered policy learningとinterface設計の具体的標的を提示

6. 次に読むべき論文は?

- π_{0.5} - π_0-FAST - Cosmos3-Edge - human-centered policy learning - human--robot interface - VLA (Vision-Language-Action) models

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiqing Xu, Jiajun Wu

分類: cs.RO

原文アブストラクト

A robot may know how to perform a task yet fail when a human asks for it naturally. We study this human--VLA communication gap by separating an \emph{information gap}, where task semantics, grounding, or event structure remain unresolved, from a residual \emph{execution gap}, where even a fully specified task depends on how it is organized and invoked. To do this, we characterize how people naturally express demonstrated objectives and evaluate controlled variants of the same physical tasks, with detailed analysis on $π_{0.5}$ and consistent trends on $π_0$-FAST and Cosmos3-Edge. Our study reveals that humans increasingly compress instructions as tasks grow, relying more on contextual grounding and implicit execution structure. Current policies are misaligned with this behavior: they tolerate grounding dependence relatively well, but struggle when task semantics or event structure must be reconstructed. Even after the information gap is resolved, execution remains sensitive to command granularity and invocation state. These findings identify concrete targets for human-centered policy learning and interfaces that better bridge natural human objectives to robot behavior. Project website: https://commgap.github.io/.

関連論文

PR本紙発行元 EmplifAI