RoboARCade、長期ロボット操作のベンチマークを公開　エージェントの成功率と失敗要因を評価

何が起きたか

arXiv掲載日2026-11-05の論文で、3種類のロボット形態を使う長期操作タスクのベンチマーク「RoboARCade」が紹介された。論文の評価ではGPT-6 Astraが49.8%、Claude Fable 5.1が43.6%を記録した。タスクは既存のオープンソースベンチマークを基に初期条件の幅を広げ、文脈内適応、記憶、推論を伴う精密操作を試す設計だ。

詳細

タスクはすべてシミュレーション環境MuJoCo上で実行でき、各タスクは独立したデータパックとして提供される。エージェントとの接続には交換可能なインターフェースを用い、新しいタスク、エージェント、インターフェースを個別に追加できるとしている。 論文によると、より豊富な視覚情報を使うインターフェースは、比較対象の方式に対してスコアを1.5〜6.8ポイント押し上げた一方、費用は1.7〜2.3倍だった。5タスクの部分集合では、文脈内に成功例を1つ加えるとAstraのスコアが53.5%から73.0%に上がり、エージェント自身が作成・改訂するプロンプトでは72.0%となった。

Key Facts

本紙の見方

RoboARCadeの焦点は、ロボット操作エージェントの成績を単一の成功率で比べるだけでなく、長期タスクで必要になる適応、記憶、推論を、初期条件の幅を広げた課題で検証する点にある。Astraの49.8%とClaude Fable 5.1の43.6%には差があるが、いずれも半数前後にとどまる。論文はこの結果を、ベンチマーク上で性能差を見分けられる一方、改善余地も大きい状態として示している。 評価基盤の設計も重要だ。MuJoCoに実行環境をそろえ、タスクを独立したデータパックにし、エージェントとの接続方式も交換可能にしたことで、タスク・モデル・インターフェースを別々に追加できる構成になっている。これは異なるエージェントを同じ課題群で比較する際の条件を整えやすくする一方、結果の解釈は用いたインターフェースやタスク設定に依存する。実際、視覚情報を増やす方式は1.5〜6.8ポイントの上昇に対し費用が1.7〜2.3倍であり、入力を豊かにすれば効果に比例して効率も上がる、とは限らない。 失敗の内訳は、ロボット制御の評価で何を改善対象とすべきかを具体化する。論文では、場面の理解不足よりも、適切でない操作戦略を選ぶこと、または妥当な戦略を不正確に実行することが主な失敗要因とされた。したがって、認識性能だけを高めても、計画と実行の接続が改善しなければタスク完遂率につながらない可能性がある。さらに、サブタスクの24〜39%でエージェントが成功を誤認したという結果は、外部評価で実際の達成状況を確かめる必要性を示す。 一方、5タスクの部分集合では、成功例を文脈に1つ加える方法と、エージェントが自ら作成・改訂したプロンプトの双方で70%を超えるスコアが報告された。これは、人手を介さない改善可能性を示す限定的な結果だが、5タスクの部分集合での値であり、全ベンチマークに一般化できるとは限らない。次に見るべきなのは、タスクごとの成績、異なるロボット形態での改善の再現性、費用の算定条件、成功誤認を減らす評価方法である。これらが示されれば、ベンチマークの総合スコアを実機制御の能力や運用コストとどう結びつけられるかを判断しやすくなる。

なぜ重要か

RoboARCadeでは、視覚情報を増やした方式の成績向上が1.5〜6.8ポイントにとどまる一方、費用は1.7〜2.3倍とされた。ロボット操作エージェントを評価する側には、成功率だけでなく入力方式の費用と操作失敗の原因を併せて測る必要がある。また、サブタスクの24〜39%で成功を誤認したとの結果は、タスク達成の判定をエージェントの自己申告だけに依存できないことを示している。