分散型ロボット評価基盤「RoboColosseum」、124地点で政策モデルを比較

何が起きたか

2026年11月2日掲載の論文で、ロボット政策を実環境で分散評価する枠組み「RoboColosseum」が発表された。124地点で5,699件のペア比較を行い、4種類のロボット実装を対象に、5つの視覚・言語・行動（VLA）政策と3つの先端AIエージェントを評価した。公開条件で先端AIエージェントは専門VLA政策に匹敵した一方、オープンワールド課題の安定した完遂は全システムで難しかった。

詳細

RoboColosseumは、各地で運用されるロボットをネットワーク化し、政策の共通配信方式と標準化した評価手順を組み合わせる。Open Trackではタスク固有の適応を加えず、条件をそろえた盲検ペア比較を実施した。Fine-tune Trackでは4種類の機体にまたがる20課題を扱い、各政策に課題ごとに同じ100件のデモンストレーションを与えた。評価対象の機体はSO-101、Franka、Bimanual-YAM、G1 Humanoidである。 Fine-tune TrackではGR00T N1.7がSO-101で、pi0.5がFrankaとBimanual-YAMで首位となった。機体別タスク群の順位一致度はKendall W = 0.24で、Open Trackの順位はファインチューニング後の相対性能をよく予測せず、両トラックで共通する3機体すべてに大幅な順位逆転があった。G1 Humanoidでは5課題のいずれも完遂されなかったが、政策ごとの平均進捗率は13.3%から23.2%だった。論文は、試行を重ねるとOpen Trackの順位が安定し、アクティブ・マッチメイキングは一様サンプリングより少ない実機試行で同程度の順位一致を得たとしている。

Key Facts

本紙の見方

この研究の中心は、新しいロボット政策の提案ではなく、異なる場所で動く実機を使い、政策を比較する評価の仕組みを整えた点にある。124地点で5,699件のペア比較を実施した規模に加え、同条件の盲検比較と、同数のデモを用いるファインチューニング評価を分けた。政策の成績だけでなく、評価条件が変わったときに順位が維持されるかを検証する設計である。 結果は、政策性能を単一の順位表で表す難しさを示す。Fine-tune TrackではSO-101でGR00T N1.7、FrankaとBimanual-YAMでpi0.5が首位となり、機体別タスク群の順位一致度はKendall W = 0.24だった。さらにOpen Trackの順位はファインチューニング後の相対性能をよく予測せず、共通する3機体すべてで大幅な順位逆転があった。したがって、公開条件での比較結果を、そのまま新しい課題への適応力の指標とみなすのは難しいと考えられる。 もう一つの示唆は、成功・失敗の二値評価だけでは機体の能力差を取り逃がすことだ。G1 Humanoidでは5課題を完遂した政策がなかった一方、平均進捗率は13.3%から23.2%に分かれた。完遂率だけなら各政策は同じ結果に見えるが、部分進捗を測ることで失敗に至るまでの差が記録される。実機評価を政策改善に使う場合、成功判定と進捗指標をどう併用するかが評価設計の論点になる。 業界構造への含意は、モデル開発と実機評価の接続にある。各地のロボットを共通プロトコルで測り、Open TrackとFine-tune Trackを照合する構成は、モデル単体のベンチマークでは分かりにくい機体依存性や適応後の変化を切り分ける。ただし、抄録に示された結果は初期研究の範囲であり、地点ごとの環境構成や課題別の詳細、評価結果が別のロボット群でも再現するかは判断できない。今後は、地点・課題・機体の条件をどこまでそろえた場合に順位が比較可能なのか、また部分進捗が実運用上の有用性とどう対応するのかを確認する必要がある。

なぜ重要か

124地点での比較でも、Open Trackの順位はファインチューニング後の相対性能をよく予測せず、機体別タスク群の順位一致度もKendall W = 0.24だった。ロボット政策を選定・評価する側にとって、単一条件の順位だけで適応性能を判断せず、対象機体や学習条件を含めて評価する必要性を示す結果である。