日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチエージェント制御arXiv:2611.22138

RoboTeam:多数ロボットアームのリアルタイム視覚マルチエージェント制御ベンチマーク

RoboTeam: Benchmarking Vision-Based Multi-Agent Control of Many Robot Arms in Real Time

シェア:XThreadsFacebookLINEはてブBluesky

カメラ画像のみから4〜16本のロボットアームをリアルタイムで協調制御するマルチエージェントベンチマークを提案し、単一・階層・分散・適応型のエージェント構成を速度・トークン・信頼性の観点で比較した。

詳しい要約

1. どんなもの?

- シミュレーション上のベンチマーク「RoboTeam」を提案 - エージェントが4〜16本のrobot armsを制御 - 入力はcamera imagesのみ(ground-truth object positionsなし) - 世界はエージェントの思考中も停止しないreal time設定 - 36個の長い協調タスクを収録 - 例: timbersの受け渡し、数百cubesからのpicture構築 - マルチモーダルエージェントのtool呼び出し・code記述による制御を評価対象とする

2. 先行研究と比べてどこがすごい?

- 既存benchmarkの3つの不足を指摘して設計 - 多くは1〜2本のarm・短時間タスクのみ - エージェント思考中にworldをpauseするものが多い - ground-truth object positionsを与えるものが多い - RoboTeamは長いmulti-armジョブ、camera imagesのみ、worldが決してpauseしない設定で評価 - これらを同時に満たす点で先行benchmarkにない限界を測定できるとする

3. 技術・手法の肝は?

- 最も柔軟なadaptive systemを起点に採用 - 1つのagentがdelegateのforkタイミングを判断 - 3つの固定systemと比較 - single-agent - hierarchical - decentralized - 評価軸は完了タスク数、所要時間、input tokens、失敗・retryの発生 - 実時間でcamera imagesのみから複数armを協調制御させる設計が肝

4. どうやって有効だと検証した?

- adaptive systemでgpt-6.1-solが28タスク、opus-5.5が27タスクを完了 - 他の4モデルは最大3タスクにとどまる - コスト面も測定 - 典型タスクでgpt-6.1-solは3.5時間・218 million input tokens - そのstepの3分の1が少なくとも1回失敗しretryが必要 - 4 system比較では完了数は同程度だが時間とtokensが異なる - hierarchicalとdecentralizedは速いが最大1.9倍のtokens - single agentはtokens少ないが1.6倍の時間 - adaptiveはその中間

5. 議論はある?

- 現時点でfast・cheap・reliableを同時に満たすmodel/systemはないと結論 - adaptive systemは時間とtokensの中間的トレードオフに位置する - 長時間・高token・高失敗率という実用上の限界を定量的に示す - 具体的な失敗内容やタスク別内訳、改善方策の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨内で比較されている4 system: adaptive system, single-agent, hierarchical, decentralized - 評価対象model: gpt-6.1-sol, opus-5.5 - 関連する基盤としてmultimodal agentsのtool calling・code generationによるrobot arm制御 - 同分野の定番としてmulti-agent reinforcement learningやvision-based robot manipulationのbenchmark群(個別名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changxuan Fan, Zhongwei Xie, Boyi Zhang, Shaoli Hu, Chang Xu, Xiyu Ren, Yufei Li, Qiao Xiao, Huihao Jing, Kawai Chung, Wenbin Hu, Hongyu Luo, Lingyun Xie, Yisen Gao, Chunyang Li, Haoyu Huang, Wuganjing Song, Yuxuan Liu, Chiu Yeung Tang, Fangneng Zhan, Xi Yang

分類: cs.RO, cs.AI

原文アブストラクト

Multimodal agents can now control robot arms by calling tools and writing code. Existing benchmarks fall short in three ways: most test one or two arms on short tasks, many pause the world while the agent thinks, and many give it ground-truth object positions. We present RoboTeam, a simulated benchmark where agents control 4 to 16 robot arms in real time from camera images alone. Its 36 tasks are long jobs that the arms must do together, such as passing timbers or building a picture from hundreds of cubes. We start from the most flexible agent system, the adaptive system, where one agent decides when to fork delegates. With it, gpt-6.1-sol and opus-5.5 complete 28 and 27 tasks, and four other models at most 3. But at a high price: a typical task takes gpt-6.1-sol 3.5 hours and 218 million input tokens, and a third of its steps fail at least once and must be retried. We then compare it with three fixed systems: single-agent, hierarchical, and decentralized. All four complete a similar number of tasks but differ in time and tokens. The hierarchical and decentralized systems are faster but use up to 1.9 times the tokens, and the single agent uses fewer tokens but takes 1.6 times as long, so the adaptive system lies between them. Even so, no model or system is yet fast, cheap, and reliable at once. RoboTeam measures these limits where earlier benchmarks cannot: long multi-arm jobs, camera images only, and a world that never pauses.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI