何が起きたか
2026年8月24日、arxiv.orgにて、視覚言語行動（VLA）モデルの指示追従操作を評価する新ベンチマーク「InstructMove」が発表された。このベンチマークは、複数の行動が視覚的・物理的に可能な状況で、言語指示にのみ一致する行動を正解とする「テキスト必須」の評価原理を採用する。pick-and-placeタスクを対象に、カテゴリ識別、属性判別、空間推論、構成的pick-and-placeの4つの下位課題で構成される。
詳細
InstructMoveは、指示追従評価を「テキスト必須」とする新ベンチマークである。具体的には、複数の行動が視覚的・物理的に可能であり、言語指示にのみ一致する行動が正解となる状況を設定する。pick-and-placeシーンに意味的ディストラクタを配置し、指示追従をカテゴリ識別、属性判別、空間推論、構成的pick-and-placeに分解する。トレーニングデータとホールドアウト評価タスクからなるトレイン・評価プロトコルを備え、言語依存度の診断も追加で提供する。代表的なVLAポリシーを用いた実験では、視覚的ショートカットの診断に有効であり、InstructMoveのシミュレーションデータが実世界の指示追従操作性能を向上させることが示された。コードはGitHub（https://github.com/HorizonRobotics/RoboOrchardSim）で公開されている。
Key Facts
| InstructMoveは、複数の行動が視覚的・物理的に可能な状況で、言語指示にのみ一致する行動を正解とする「テキスト必須」の評価原理を導入した。 | [1] |
| InstructMoveはpick-and-placeシーンに意味的ディストラクタを配置し、指示追従をカテゴリ識別、属性判別、空間推論、構成的pick-and-placeに分解する。 | [1] |
| InstructMoveはトレーニングデータとホールドアウト評価タスクからなるトレイン・評価プロトコルを備え、言語依存度の診断も提供する。 | [1] |
| 代表的なVLAポリシーを用いた実験で、InstructMoveが視覚的ショートカットの診断に有効であり、シミュレーションデータが実世界の指示追従操作性能を向上させることが示された。 | [1] |
| コードはGitHub（https://github.com/HorizonRobotics/RoboOrchardSim）で公開されている。 | [1] |
本紙の見方
今回の発表は、VLAモデルの評価方法に一石を投じるものだ。従来の操作ベンチマークでは、対象物体や目的地が視覚的に顕著で、言語指示を理解しなくても成功できる場合が多かった。InstructMoveは「テキスト必須」の原則を導入し、視覚的・物理的に複数の行動が可能な状況を設定することで、ポリシーが本当に言語指示を理解しているかを厳密に評価する。これは、VLAモデルの汎用性を測る上で重要な進展であり、評価の信頼性を高める。 本稿は過去の関連記事を持たないため、連続性の分析はできないが、このベンチマークの設計は、ロボット操作における言語理解の評価をより厳格にする方向性を示している。特に、カテゴリ識別、属性判別、空間推論、構成的pick-and-placeという4つの下位課題への分解は、指示追従の能力を細かく診断することを可能にし、モデルの弱点を特定しやすくする。 業界構造への含意として、このベンチマークはVLAモデルの開発競争に影響を与える可能性がある。評価方法が厳格になれば、モデルの性能比較がより意味を持ち、開発者は言語理解の本質的な向上に注力せざるを得なくなる。また、シミュレーションデータが実世界の性能向上に寄与するという結果は、シミュレーションと実世界のギャップを埋める研究の重要性を示唆している。 未確定の論点としては、InstructMoveがカバーするタスクの範囲がpick-and-placeに限定されている点が挙げられる。より複雑な操作や長期的なタスクへの拡張が可能かどうかは、今後の研究を待つ必要がある。また、実験で使用された「代表的なVLAポリシー」の具体的なモデル名や、実世界実験の詳細（ロボットプラットフォーム、環境など）は公開情報からは不明であり、今後の論文の詳細版や追試によって明らかにされるべきだ。
なぜ重要か
InstructMoveは、VLAモデルの指示追従能力を厳密に評価するための新しい基準を提供する。これにより、ロボット操作における言語理解の進捗をより正確に測定できるようになり、研究開発の方向性を明確にする。また、シミュレーションデータの有効性を示すことで、実世界での応用に向けたデータ収集の効率化にも貢献する可能性がある。