日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.12696

Spa-Bench：視覚言語行動モデルの空間的接地を評価する実機ロボットベンチマーク

Spa-Bench: A Real-Robot Benchmark for Spatial Grounding in Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデル（VLA）が空間記述を実機ロボットの行動に正しく結びつけられるかを評価するため、6種類の卓上タスクからなる実機ベンチマークSpa-Benchを提案し、5つの最先端VLAの性能を比較した。

詳しい要約

1. どんなもの？

- どんなもの？ - Vision-Language-Action models (VLAs) の spatial grounding を評価する real-robot benchmark「Spa-Bench」 - 6つの tabletop tasks で構成 - Object State - Relative Size - Referential Description - Relational Placement - Ordinal Position - Counting - SO-101 robot arm 上で収集した 4,092 episodes を公開 - 1,200 human-teleoperated demonstrations - 2,892 real-robot evaluation rollouts（5つの state-of-the-art VLA policies から）

2. 先行研究と比べてどこがすごい？

- 先行研究と比べてどこがすごい？ - 従来の VLA 評価は objects・instructions・environments の変化に対する aggregate manipulation success が中心 - 本研究は「spatial descriptions を physical scenes でどれだけ信頼性高く ground できるか」に焦点 - in-distribution (ID) と out-of-distribution (OOD) の spatial configurations を比較 - 関連する objects・concepts・actions の training support は維持 - object や motor の不慣れを失敗の代替説明から除外 - 4つの diagnostic conditions で physical execution・wording 感度・object-task associations・no action required の認識を追加検証

3. 技術・手法の肝は？

- 技術や手法の肝はどこ？ - real-robot benchmark として Spa-Bench を設計 - 6つの tabletop spatial grounding tasks を設定 - ID と OOD の spatial configurations を主要評価軸に - 4つの diagnostic conditions を追加 - physical execution - sensitivity to wording - object-task associations - recognition that no action is required - SO-101 robot arm で 4,092 episodes を収集 - 1,200 human-teleoperated demonstrations - 2,892 real-robot evaluation rollouts（5つの VLA policies）

4. どうやって有効だと検証した？

- どうやって有効だと検証した？ - SO-101 robot arm 上で real-robot evaluation rollouts を実施 - 5つの state-of-the-art VLA policies を評価 - 3つの fully evaluated policies で結果を報告 - ID spatial configurations: 67.5-73.3% success - OOD spatial configurations: 40.7-52.0% success - matched direct instructions: 28.3-40.0 percentage points 改善 - これにより、必要な manipulation は実行できるが robust な spatial grounding が欠けることを示唆

5. 議論はある？

- 議論はある？ - 評価された VLAs は required manipulations をしばしば実行できるが、robust な spatial grounding を欠く - ID から OOD への success 低下が spatial grounding の弱さを示す - matched direct instructions で大幅改善することから、wording や spatial description の解釈が課題 - 限界や今後の議論は要旨からは不明

6. 次に読むべき論文は？

- 次に読むべき論文は？ - 要旨で参照/比較されている個別研究は明記されていない - 関連手法として Vision-Language-Action models (VLAs) 全般 - 同分野の定番として language-conditioned control、vision-language pretraining、real-robot manipulation benchmarks を挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Justin Tien-Smith, Matthew Pidden, Rolandos Alexandros Potamias

分類: cs.RO

原文アブストラクト

Vision-language-action models (VLAs) offer a promising route toward general-purpose robotics by transferring semantic knowledge from large-scale vision-language pretraining into language-conditioned control. However, most VLA evaluations emphasize aggregate manipulation success under changes in objects, instructions, or environments, leaving unclear how reliably these policies ground spatial descriptions in the physical scenes where they act. We therefore ask a sharper question: how reliably can current VLAs translate spatial descriptions into appropriate real-robot behavior? To investigate this, we introduce Spa-Bench, a real-robot benchmark that evaluates spatial grounding across six tabletop tasks covering Object State, Relative Size, Referential Description, Relational Placement, Ordinal Position, and Counting. Our primary evaluation compares in-distribution (ID) and out-of-distribution (OOD) spatial configurations while retaining training support for the relevant objects, concepts, and actions, reducing object and motor unfamiliarity as alternative explanations for failure. Four diagnostic conditions further probe physical execution, sensitivity to wording, object-task associations, and recognition that no action is required. We release 4,092 episodes collected on the SO-101 robot arm: 1,200 human-teleoperated demonstrations and 2,892 real-robot evaluation rollouts from five state-of-the-art VLA policies. Across the three fully evaluated policies, success falls from 67.5-73.3% on ID spatial configurations to 40.7-52.0% on OOD spatial configurations, while matched direct instructions improve success by 28.3-40.0 percentage points. These results show that the evaluated VLAs can often execute the required manipulations but lack robust spatial grounding. Project materials, including videos, code, and benchmark data, are available at https://justintiensmith.github.io/Spa-Bench/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI