日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.34051

BEHAVIOR-Spatial:ロボットの空間理解を評価するベンチマーク

Behavior Spatial Benchmark: Evaluating Spatial Understanding for Robotics

シェア:XThreadsFacebookLINEはてブBluesky

BEHAVIOR-1K上に構築した空間QA・目標グラウンディング・ロボット行動のベンチマークで、VLMの空間理解がVLA行動にどう結びつくかを調べた。指示変更時の成功率低下や知覚性能と行動の相関を明らかにした。

詳しい要約

1. どんなもの?

- BEHAVIOR-1K 上に構築された空間理解ベンチマーク BEHAVIOR-Spatial を提案 - 空間質問応答、点ベースの target grounding、ロボット action の3種を評価 - 3,256 の spatial questions(49 activities) - 1,240 の grounding queries(14 manipulation tasks) - action 評価は同14 manipulation tasks と10 navigation tasks を対象 - VLM の空間理解と VLA の behavior の関係を調べることを目的とする - タスク成功率だけでは空間指示の遵守を判定できないという問題意識に基づく

2. 先行研究と比べてどこがすごい?

- 従来はタスク成功率のみで評価されがちで、空間指示が守られたかを切り分けられなかった - 本ベンチマークは spatial question answering・grounding・robot action を同一基盤で測る点が特徴 - manipulation protocol で held-out configurations と、固定 training layout 内で要求 target が変わる際の instruction following を評価 - 後者の設定で性能差を顕在化させる点が新しい - 要旨からは不明:既存ベンチマークとの直接比較の詳細は記述されていない

3. 技術・手法の肝は?

- BEHAVIOR-1K を基盤に3種類の評価を構成 - spatial question answering(3,256問、49 activities) - point-based target grounding(1,240 queries、14 manipulation tasks) - robot action 評価(14 manipulation + 10 navigation tasks) - manipulation protocol の肝 - held-out configurations での評価 - 固定 training layout 内で requested target が変わる条件での instruction following 評価 - oracle visual target cues を用いて、知覚の上限性能を切り分ける設計 - VLM adaptation と robot-data pretraining の効果も比較

4. どうやって有効だと検証した?

- baseline の結果 - held-out configurations で 41.6% - changed instructions 下では 16.1% - VLM adaptation と robot-data pretraining は限定的な改善にとどまる - oracle visual target cues により 60.3% と 38.0% へ向上 - perception 評価で、VLM の question-answering と grounding 精度、VLA manipulation 性能の間に policy-dependent な相関を確認 - これらにより、空間指示遵守をタスク完了と並べて評価する必要性を示す

5. 議論はある?

- タスク成功だけでは空間指示の遵守を保証できない点を議論 - VLM の空間 QA・grounding 性能が VLA behavior にいつ反映されるかは policy-dependent であり、単純な相関では捉えにくい - VLM adaptation や robot-data pretraining だけでは changed instructions 下の性能が大きく改善しない点が課題 - oracle visual target cues でも完全ではなく、知覚と行動のギャップが残る - 要旨からは不明:具体的な失敗要因や限界の詳細な分析

6. 次に読むべき論文は?

- BEHAVIOR-1K(本ベンチマークの基盤) - VLM(vision-language model)および VLA(vision-language-action model)関連の空間 grounding 研究 - point-based target grounding に関する研究 - instruction following を評価するロボット manipulation ベンチマーク - oracle visual target cues を用いた知覚・行動分離の評価手法 - 要旨で個別論文名の参照はないため、上記は関連手法・基盤の一般名

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sirui Chen, Huang Huang, Qineng Wang, Wenlong Huang, Manling Li, Ruohan Zhang, Li Fei-Fei, Jiajun Wu

分類: cs.RO, cs.CV

原文アブストラクト

Robot tasks require grounding spatial language in physical scenes, but task success alone cannot establish whether spatial instructions are followed. We present BEHAVIOR-Spatial, a benchmark built on BEHAVIOR-1K that measures spatial question answering, point-based target grounding, and robot action to examine how VLM spatial understanding relates to VLA behavior. It comprises 3,256 spatial questions across 49 activities, 1,240 grounding queries across 14 manipulation tasks, and action evaluations covering those 14 tasks and 10 navigation tasks. Our manipulation protocol evaluates held-out configurations and instruction following when the requested target changes within a fixed training layout. The baseline achieves 41.6% on held-out configurations but only 16.1% under changed instructions. VLM adaptation and robot-data pretraining provide limited improvements, whereas oracle visual target cues raise these rates to 60.3% and 38.0%, respectively. Perception evaluations reveal policy-dependent correlations between VLM question-answering and grounding accuracy and VLA manipulation performance. Together, these findings motivate evaluating spatial instruction following alongside task completion and examining when spatial perception performance translates into robot behavior. Project website: https://arielchen07.github.io/behavior-spatial/.

関連論文

PR本紙発行元 EmplifAI