VLA/ベンチマーク2026/8/24arXiv:2608.22990

InstructMove: 指示追従操作のためのテキスト必須ベンチマーク

InstructMove: A Text-Indispensable Benchmark for Instruction-Following Manipulation

視覚的に顕著な物体や唯一の動作候補に頼らず、言語指示にのみ従って正解が決まる「テキスト必須」な操作ベンチマークInstructMoveを提案し、VLAモデルの指示追従能力を診断・改善する。

詳しい要約

1. どんなもの？

InstructMoveは、指示追従操作のためのテキスト必須ベンチマークである。VLAモデルが自然言語指示に基づいて操作を行う能力を評価することを目的とし、複数のアクションが視覚的・物理的に可能でありながら、言語指示と一致するのは1つだけという状況を作り出す。pick-and-placeシーンに意味的妨害物を配置し、カテゴリ識別、属性判別、空間推論、構成的手持ち上げ配置の4つのサブタスクに分解する。

2. 先行研究と比べてどこがすごい？

既存の操作ベンチマークでは、意図された物体や目的地が視覚的に顕著または一意に実現可能であるため、ポリシーが指示を接地せずに成功できる場合があり、指示追従能力が過大評価される。InstructMoveは、複数のアクションが視覚的・物理的に妥当で、言語指示のみが唯一の識別要因となる「テキスト必須」の原則を導入し、指示追従の評価を厳密化する点が革新的である。

3. 技術・手法の肝は？

InstructMoveは、pick-and-placeシーンに意味的妨害物を配置し、指示追従をカテゴリ識別、属性判別、空間推論、構成的手持ち上げ配置に分解する。トレーニングデータとホールドアウト評価タスクからなるtrain-evalプロトコルを提供し、言語依存度の診断を追加する。シミュレーションデータを生成し、実世界の指示追従操作の性能向上に利用する。

4. どうやって有効だと検証した？

代表的なVLAポリシーを用いた実験により、InstructMoveが視覚的ショートカットを診断するための制御されたテストベッドを提供することを示した。また、InstructMoveのシミュレーションデータが実世界の指示追従操作性能を向上させることを実証した。

5. 議論はある？

要旨からは、InstructMoveの限界や議論についての詳細は不明である。ただし、テキスト必須の原則が評価の厳密性を高める一方で、現実のタスクでは視覚的手がかりが常に存在する可能性があり、その適用範囲について議論の余地があるかもしれない。

6. 次に読むべき論文は？

要旨で参照されているVLAモデルや関連手法として、Vision-Language-Actionモデル全般が挙げられる。具体的には、RT-2やPaLM-EなどのVLAモデルが関連する。また、操作ベンチマークとしては、CALVINやRLBenchなどが同分野の定番として挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mengao Zhao, Ziang Li, Chaodong Huang, Mengchen Ma, Haoyi Jiang, Yiwei Jin, Xinjie Wang, Yun Du, Xuewu Lin, Taojun Ding, Hongyu Xie, Jackson Jiang, Chunlei Yu, Kaihua Zhang, Lichao Huang, Liu Liu, Tianwei Lin, Zhizhong Su

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models have made general-purpose robot manipulation increasingly plausible by conditioning robot actions on natural-language instructions. A key test of such generality is whether policies actually follow language instructions. Yet many manipulation benchmarks leave this ability underdetermined: the intended object or destination is often visually salient or uniquely feasible, allowing policies to succeed without grounding the instruction. We argue that instruction-following evaluation should be text-indispensable: multiple actions should be visually and physically plausible, while only one should be consistent with the language instruction. We introduce InstructMove, a text-indispensable benchmark for instruction-following manipulation. InstructMove instantiates this principle in pick-and-place scenes with semantic distractors, decomposing instruction following into category identification, attribute discrimination, spatial reasoning, and compositional pick-and-place. InstructMove supports a train-eval protocol with InstructMove training data and held-out evaluation tasks, with additional diagnostics for language dependence. Experiments with representative VLA policies show that InstructMove provides a controlled testbed for diagnosing visual shortcuts and that InstructMove simulation data can improve real-world instruction-following manipulation performance. Code: https://github.com/HorizonRobotics/RoboOrchardSim

arXivで原文を読む →arXiv概要ページ