日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ベンチマーク評価arXiv:2611.02497

RoboColosseum：実世界規模で物理知能を評価する分散評価フレームワーク

RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild

シェア:XThreadsFacebookLINEはてブBluesky

多様な環境の実機ロボット群をネットワーク化し、VLAポリシーやAIエージェントを統一プロトコルで比較評価する分散ベンチマークを提案した。

詳しい要約

1. どんなもの？

- 分散型の実機評価フレームワーク RoboColosseum を提案する研究 - 統一的な policy serving と標準化プロトコルを、多様な環境で局所運用されるロボット群のネットワーク上で組み合わせる - 初期研究として5つの vision-language-action (VLA) policies と3つの frontier AI agents を評価 - 4つの embodiments (SO-101, Franka, Bimanual-YAM, G1 Humanoid) を対象 - Open Track と Fine-tune Track の2つの評価トラックから成る - Open Track: タスク特化の適応なしで、blinded な pairwise trials を一致した局所条件で比較 - Fine-tune Track: 各 policy にタスクあたり同一の100 demonstrations を与えた際の適応性を20タスクで測定

2. 先行研究と比べてどこがすごい？

- 実機試行の再現困難性という問題に対し、分散評価と標準化プロトコルで対処する点が特徴 - 局所運用ロボットのネットワークを活用し、環境多様性を保ちつつ再現性を高める - 規模の面で、124 sites にわたる5,699 pairwise Open Track comparisons を実施 - 単一ベンチマークではなく、複数 embodiments と複数トラックを横断して policy を比較 - embodiment 別タスクスイート間で policy ランキングの一致が弱い (Kendall W = 0.24) ことを示す - Open Track のランキングが fine-tuning 後の相対性能を予測しにくいことを示す - タスク成功率だけでなく partial progress を測定し、成功では見えない差異を明らかにする - active matchmaking により、uniform sampling より大幅に少ない実機試行で同等のランキング一致を達成 - 先行研究との具体的な比較は要旨からは不明

3. 技術・手法の肝は？

- 分散評価フレームワーク RoboColosseum の中核 - 統一的な policy serving と標準化された評価プロトコル - 局所運用されるロボット群のネットワーク上での評価 - Open Track - タスク特化の適応なしで、blinded な pairwise trials を一致した局所条件の下で比較 - Fine-tune Track - 各 policy にタスクあたり同一の100 demonstrations を与え、20タスク・4 embodiments での適応を測定 - 評価指標 - pairwise comparisons に基づくランキング - タスク成功率に加え partial progress を測定 - 効率化手法 - active matchmaking により実機試行を削減 - ランキング安定性の分析 - trials の蓄積に伴う Open Track ランキングの安定化を確認

4. どうやって有効だと検証した？

- 124 sites における5,699 pairwise Open Track comparisons を実施 - 5つの VLA policies と3つの frontier AI agents を4 embodiments で評価 - Open Track の知見 - frontier agents が specialized VLA policies に匹敵 - すべてのシステムが open-world tasks の確実な完了に苦戦 - Fine-tune Track の知見 - GR00T N1.7 が SO-101 で首位、pi0.5 が Franka と Bimanual-YAM で首位 - ランキングの一致度を Kendall W = 0.24 として定量化 - Open Track と fine-tuning 後のランキングの不一致、および3 embodiments すべてでの順位逆転を確認 - partial progress の測定 - G1 Humanoid では5タスクすべてで完了した policy はないが、平均 progress は13…

5. 議論はある？

- 分散実機評価により、policy の汎化・新タスクへの適応・未完了タスクでの進捗度を明らかにできると主張 - Open Track のランキングが fine-tuning 後の性能を予測しにくく、順位逆転が生じる点を議論 - 評価トラックの選択が結論に影響しうる - embodiment 別タスクスイート間でランキング一致が弱い (Kendall W = 0.24) 点を議論 - embodiment をまたぐ一般化の難しさを示唆 - 成功率のみでは捉えられない差異を partial progress が明らかにする点を議論 - Open Track ランキングは trials の蓄積で安定化するが、その収束性に関する詳細は要旨からは不明 - active matchmaking の有効性は示されるが、限界やバイアスの議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で比較・参照されている研究 - GR00T N1.7 - pi0.5 - vision-language-action (VLA) policies 全般 - frontier AI agents - 関連手法・概念 - active matchmaking と uniform sampling の比較 - Kendall W によるランキング一致度評価 - blinded pairwise trials - partial progress 指標 - 同分野の定番として検討しうるもの - 他の VLA ベースライン (例: OpenVLA, RT-2 など) - ロボット操作の標準ベンチマーク (例: LIBERO, CALVIN など) - 実機評価プロトコルに関する研究 - 具体的な次読論文の指定は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tan Sang Nguyen, Yi Ru Wang, Shailesh Shailesh, Gang Yang, Jiamo Hu, Jianuo Jiang, Haoquan Fang, Zhongzheng Ren, Zhongyi Luo, Ian Chong, Aaron Tung, Santiago Pravisani, Minghui Lin, Yao Mo, Ishneet Singh, Benjamin Tee, Harold Soh, Siddhartha Srinivasa, Dieter Fox, David Hsu, Haoming Song, Maxime Ellerbach, Thomas Wolf, Pepijn Kooijmans, Ruijie He, Michael Cho, Jiafei Duan

分類: cs.RO, cs.AI

原文アブストラクト

General-purpose robot policies must work across robots, tasks, and environments, yet the variation that makes physical trials informative also makes them difficult to reproduce. We introduce RoboColosseum, a distributed evaluation framework that combines unified policy serving and standardized protocols across a network of locally operated robots in diverse environments. Our initial study evaluates five vision-language-action (VLA) policies and three frontier AI agents across four embodiments (SO-101, Franka, Bimanual-YAM, and G1 Humanoid). The Open Track compares models without task-specific adaptation in blinded, pairwise trials under matched local conditions. The Fine-tune Track measures how well VLA policies adapt to 20 tasks across all four embodiments when each policy receives the same 100 demonstrations per task. Across 5,699 pairwise Open Track comparisons at 124 sites, frontier agents rival specialized VLA policies, while all systems struggle to complete open-world tasks reliably. After fine-tuning, GR00T N1.7 leads on SO-101 and pi0.5 leads on Franka and Bimanual-YAM. Policy rankings show weak agreement across embodiment-specific task suites (Kendall W = 0.24). Open Track rankings poorly predict relative performance after fine-tuning, with substantial rank reversals on all three embodiments shared between tracks. Measuring partial progress reveals differences that task success alone misses. On the G1 Humanoid, no policy completes any of the five tasks, yet average progress ranges from 13.3% to 23.2% across policies. Open Track rankings stabilize as trials accumulate, and active matchmaking achieves comparable ranking agreement with substantially fewer physical trials than uniform sampling. These results show how distributed physical evaluation can reveal where robot policies generalize, how well they adapt to new tasks, and how far they progress on tasks they fail to complete.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI