SO-101向け空間操作ベンチマーク、138物体・916試行で評価

何が起きたか

arXiv掲載論文は2026年10月27日、SO-101向けシミュレーションベンチマーク「SO-101 Bench」を発表した。評価には138物体と916エピソードを用い、物体の既知・未知や空間操作に関する課題を扱う。実機データなしで学習した5方策は、未知環境・未知物体を使った実機評価でもシミュレーション時と同じ順位になった。

詳細

ベンチマークは実際のSO-101構成を模したIsaac Labのデジタルツイン上に構築した。4つのタスクを5つの評価ファミリーとして採点し、物体138個を既知、未知の個体、未知のクラスに分ける。全916評価エピソードの一部には、未知の外観、回転して隙間に合わせる計画、遮蔽後の記憶を評価する課題を含めた。シミュレーション上のデモンストレーションは3,629件で、学習方策は同一の計算予算でファインチューニングした。 実機との順位比較では、実データなしで学習した5方策（VLA 4種とLLMエージェント）が、未知環境・未知物体で同じ重みを実機アームに適用した場合も同じ順位となった。論文が示す指標はSpearmanの順位相関係数1.00、MMRV 0.000だが、シミュレーションは成功率を過大評価した。9種のVLAとworld-action modelのうち、学習方策の最高成績は約61%。コードを生成し、把持を学習方策に任せるLLMエージェントは83.2%で、論文のアブレーションでは、この差にハーネスと使用する言語モデルの選択が寄与した。

Key Facts

本紙の見方

この研究の中心は、低コストのSO-101を対象に、言語指示と空間制約を組み合わせた操作をシミュレーションで評価する枠組みを作り、実機での方策順位との対応を確かめた点にある。単純な課題や少数の保留物体に限られた従来のSO-101ベンチマークに対し、138物体、916エピソード、未知クラスや回転して隙間に合わせる計画まで含めた設計が新しい。一方、シミュレーション上の成功率は実機より高く出るため、順位を再現できたことを、そのまま成功率の予測精度と同一視できない。 順位比較は、実データなしで学習した5方策に限られる。4種のVLAと1つのLLMエージェントについて、未知環境・未知物体で同じ重みを実機に適用して順位が一致したことは、シミュレーションを方策の相対比較に使える可能性を示す。ただし、論文は同時に成功率の過大評価を報告しており、実機での絶対性能を置き換える評価系ではない。検証対象が5方策、環境が未知の実機条件であることも、適用範囲を読むうえで重要だ。 成績の差も、モデル規模だけの比較とはいえない。9種のVLAとworld-action modelでは最高でも約61%だったのに対し、コード生成と学習方策による把持を組み合わせたLLMエージェントは83.2%だった。論文のアブレーションは、この差がハーネスとLLMの選択によるとする。したがって、評価値をモデル単体の能力として扱うのではなく、言語モデル、コード実行の枠組み、低レベル把持方策を含むシステム構成ごと比較する必要がある。3,629件のデモを同一計算予算で用いた点は比較条件をそろえるが、実データなしの5方策比較と、9種を対象にした成績集計は別の評価範囲として区別すべきだ。 ベンチマークが残した課題は、空間配置、未知クラス、回転して適合させる計画である。次に確認すべきなのは、これらの課題で実機成功率とシミュレーション値の差がどのように変わるか、順位一致が別の環境や方策群でも再現するかだ。論文の結果だけでは、シミュレーションの成功率補正方法や、より広い実機条件への一般化は確定しない。従ってSO-101 Benchの価値は、実機評価の代替というより、比較の入口を広げつつ、実機での最終確認が必要な箇所を可視化した点にあるとみられる。

なぜ重要か

SO-101向け方策の開発者は、138物体・916エピソードのシミュレーション評価で候補を比較できる一方、論文ではシミュレーションが成功率を過大評価しており、絶対性能の確認には実機評価が残る。特に、約61%の学習方策と83.2%のLLMエージェントの差は、モデルだけでなくハーネスや言語モデルの選択を含めて評価する必要性を示している。