日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマーク/マニピュレーションarXiv:2611.08209

RoboARCade:エージェント型ロボット制御のベンチマーク

RoboARCade: Benchmarking Agentic Robot Control

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダルエージェントをロボットポリシーとして直接使う「エージェント型ロボット制御」のための、長期的マニピュレーションタスクのベンチマークを提案し、主要エージェントの性能差や失敗要因を分析した。

詳しい要約

1. どんなもの?

- 長期的な manipulation タスクを対象とした agentic robot control (ARC) のベンチマーク「RoboARCade」 - 3種類の embodiment を横断するタスク群 - in-context adaptation・memory・reasoning・precise control を評価 - 既存のオープンソース benchmark を基盤に、初期条件の範囲を広げて難易度を上げた - 単一の simulation backend (MuJoCo) 上で動作 - 各タスクは自己完結した data pack - agent は交換可能な interface 経由で接続 - 新規タスク・agent・interface を独立に追加可能な拡張性を持つ

2. 先行研究と比べてどこがすごい?

- 既存のオープンソース benchmark を土台にしつつ、初期条件を広げて難しくした点が差分 - 単一 backend (MuJoCo)・自己完結 data pack・交換可能 interface により使いやすさと拡張性を両立 - 複数の leading agents を分離できる難易度を実証 - GPT-6 Astra 49.8% 対 Claude Fable 5.1 43.6% - interface 設計の効果を定量化 - より rich な visual interface は 1.5〜6.8 ポイント向上だが 1.7〜2.3 倍のコスト - 失敗要因や自己申告成功の誤り (24〜39%) など、agent の振る舞いを詳細に分析

3. 技術・手法の肝は?

- agentic robot control (ARC): multi-modal agent を直接 robot policy として用いる設定 - 3 embodiment にまたがる long-horizon manipulation タスクで in-context adaptation・memory・reasoning を要求 - 初期条件の範囲拡大により汎化と精密制御を試す設計 - 単一 simulation backend (MuJoCo) と自己完結 data pack による再現性・拡張性 - 交換可能な interface を介した agent 接続 - visual interface の richness とコストのトレードオフを比較可能 - in-context の successful demonstration や自己生成・自己改訂 prompt による改善も検証

4. どうやって有効だと検証した?

- leading agents の比較で benchmark の識別力を確認 - GPT-6 Astra 49.8%、Claude Fable 5.1 43.6% - 2種類の interface を比較し、rich な visual interface の利得 (1.5〜6.8 ポイント) とコスト (1.7〜2.3 倍) を測定 - 失敗分析を実施 - 主因は manipulation strategy の選択ミスや実行の不正確さ - シーン理解の誤りは稀 - 試行 subtask の 24〜39% で成功を誤って主張 - 人手なしの改善を検証 - 5タスク subset で in-context の successful demonstration 1件により Astra が 53.5% から 73.0% へ - agent 自身が書き改訂する prompt で 72.0%

5. 議論はある?

- 現状の最高性能でも 49.8% にとどまり、改善余地が大きい - rich な visual interface は小さな利得に対しコストが大きい - 失敗の性質 - strategy 選択の失敗と実行精度の不足が支配的 - scene 理解の誤りは少ない - agent の自己申告成功の信頼性に問題 (24〜39% の誤主張) - in-context demonstration や自己改訂 prompt による改善の可能性 - 要旨からは不明: 具体的なタスク内容・embodiment の詳細・評価指標の定義

6. 次に読むべき論文は?

- 基盤となった既存のオープンソース manipulation benchmark (RoboARCade が難易度を上げた元 benchmark) - GPT-6 Astra や Claude Fable 5.1 など評価対象の agentic 基盤モデル - agentic robot control (ARC) に関する先行研究 - in-context learning / demonstration を用いた robot policy 研究 - 自己生成・自己改訂 prompt による agent 改善の研究 - MuJoCo を用いた manipulation benchmark の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Satvik Sharma, Hengyuan Hu, Mihika Kamat, Dorsa Sadigh, Jeannette Bohg

分類: cs.RO

原文アブストラクト

Improvements in multi-modal capabilities have enabled agents to act directly as robot policies, a setting we refer to as agentic robot control (ARC). We introduce RoboARCade, a benchmark of long-horizon manipulation tasks across three embodiments designed to test in-context adaptation, memory, and reasoning for precise control. The tasks build on existing open-source benchmarks, which we make harder by widening the range of initial conditions. RoboARCade is easy to use and extend: all tasks run on a single simulation backend, MuJoCo, each task is a self-contained data pack, and agents connect through interchangeable interfaces, so new tasks, agents, and interfaces can be added independently. The benchmark separates leading agents: GPT-6 Astra achieves 49.8% compared with 43.6% for Claude Fable 5.1, leaving substantial room for improvement. Comparing two interfaces, we find that a richer visual interface adds only 1.5 to 6.8 points at 1.7 to 2.3 times the cost. Failures stem mostly from choosing a poor manipulation strategy or executing a good one imprecisely, rarely from misunderstanding the scene, and agents incorrectly claim success on 24% to 39% of attempted subtasks. Agents can also improve without human input: one successful demonstration in context raises Astra's score from 53.5% to 73.0% on a five-task subset, and a prompt the agent writes and revises itself reaches 72.0%. Code, videos and full traces are available at roboarcade.org.

関連論文

  1. 1中国がソフトバンクのABBロボット事業買収を阻止したとFT報道、Bloomberg伝える提携・買収
  2. 2Tesla、Optimusの予約受付を12月初旬に始める見通しと報道新製品・発表
  3. 3NVIDIA、Cosmosを用いたインタラクティブシミュレーション向け世界モデルを解説研究・技術
  4. 4トヨタのロボット活用を扱う記事を掲載業界動向
  5. 5Agility、SPAC合併でナスダック上場資金調達
PR本紙発行元 EmplifAI