何が起きたか
arXivは2026-10-08、視覚・言語・行動モデル（VLA）の空間認識を評価する実ロボット・ベンチマーク「Spa-Bench」を公開した。SO-101ロボットアームで集めた4,092エピソードを基に、6つの卓上タスクで空間記述の地上化を検証する内容である。評価対象は、human-teleoperated demonstrations 1,200件と、5つの最先端VLAポリシーによる実ロボット評価ロールアウト2,892件で構成される。
詳細
Spa-Benchは、Object State、Relative Size、Referential Description、Relational Placement、Ordinal Position、Countingの6タスクを対象に、IDとOODの空間配置を比較する設計である。物体、概念、行動については学習支援を残し、失敗要因として物体や運動の未知性だけでは説明しにくいようにしている。 さらに、物理的実行、語句の違い、物体とタスクの結び付き、行動不要の認識をみる4つの診断条件も用意した。論文では、3つの完全評価済みポリシーで、ID空間配置の67.5-73.3%からOOD空間配置の40.7-52.0%へ成功率が下がり、対応する直接指示では28.3-40.0ポイント改善したと報告している。
Key Facts
| arXivは2026-10-08、Spa-Bench: A Real-Robot Benchmark for Spatial Grounding in Vision-Language-Action Modelsを公開した。 | [1] |
| Spa-BenchはSO-101 robot armで収集した4,092エピソードを用いる。 | [1] |
| 内訳はhuman-teleoperated demonstrations 1,200件と、5つのVLA policiesによる実ロボット評価ロールアウト2,892件である。 | [1] |
| 評価はObject State、Relative Size、Referential Description、Relational Placement、Ordinal Position、Countingの6タスクで行う。 | [1] |
| 3つの完全評価済みポリシーでは、ID空間配置の67.5-73.3%からOOD空間配置の40.7-52.0%へ成功率が低下した。 | [1] |
本紙の見方
Spa-Benchの新しさは、VLAの性能を「操作成功率」ではなく「空間記述を実世界でどう結び付けるか」に切り分けて測った点にある。既存の評価が物体変更、指示変更、環境変更に伴う操作成否を中心にしてきたのに対し、本件は物体・概念・行動の学習支援を残したまま、IDとOODの空間配置差に絞っている。つまり、汎用操作の可否ではなく、位置関係や順序、数え上げのような言語的空間情報を現場の行動に落とす能力を分離した設計である。 数値面で目立つのは、IDで67.5-73.3%だった成功率がOODで40.7-52.0%まで落ちた点だ。これは、対象ポリシーが「何を掴んでどう動かすか」はある程度こなしても、「どこに」「どの順で」「どの関係で」を安定して解釈できていないことを示す。加えて、直接指示にすると28.3-40.0ポイント改善したという結果は、失敗が純粋なロボット制御だけでなく、言い回しの解釈にもまたがっている可能性を示唆する。空間表現のわずかな変化で成績が振れるなら、VLAの実運用では指示文の設計と評価条件の統一が性能そのものと同じくらい重要になる。 本紙の見方では、これはロボット学習の能力不足というより、評価系の焦点が一段細かくなった出来事である。SO-101上の4,092エピソード、5つの最先端VLAポリシー、6タスク、4つの診断条件という構成は、モデルの弱点を「空間 grounding」の局所課題として切り出している。今後の論点は、どのポリシーがどの診断条件で落ちるのか、OODのどの種類の配置変化が効くのか、そしてこのベンチマークが実機導入時の失敗モードをどこまで代表するかである。
なぜ重要か
arXivの記述によれば、Spa-BenchはVLAが物理操作を実行できても、空間記述を安定して実世界行動に変換するとは限らないことを示した。ロボットを言語指示で動かす用途では、単なる成功率より、ID/OODの配置差に対する頑健性が課題になるとみられる。