Embodied First Exam、47台のロボットを対象にコーディングエージェントを評価

何が起きたか

arXiv掲載の論文「Embodied First Exam」は、47台のロボットを対象に、35スイート・1,156タスクでコーディングエージェントを評価する枠組みを提示した。エージェントはロボットの制御方法として、直接制御、制御用コードの生成、制御方策の学習を選べる。456の中核タスクでは、評価した8エージェントのうちGPT-6 Astra in Codexが標準設定で成功率34%を記録した。

詳細

新設の9スイートは、ピック・アンド・プレースに加え、空間パズル、器用な操作、複数ロボットの相互作用、動的な全身制御、シミュレーター間のエンジニアリングを扱う。各タスクは最大3種類の設定で実行できる。 標準設定ではセンサー観測だけをエージェントに与え、既定では環境をリセットできない。リアルタイム版では、エージェントが推論している間も環境が動き続ける。特権設定ではシミュレーターの完全な状態と無制限のリセットを利用でき、論文はこの設定の成功率を学習用のオラクル解に対する近似的な上限としている。失敗した試行については、どの段階で問題が起きたかをラベル付けし、エージェント・設定・段階カテゴリー別に比較する。

Key Facts

本紙の見方

この枠組みの新しさは、ロボットの操作性能だけでなく、エージェントが制御の手段そのものを選ぶ点にある。従来のロボット評価は視覚・運動方策の学習を前提にしてきたと論文は説明するが、Embodied First Examでは直接操作、コード生成、方策学習を同じ評価枠組みに置く。したがって測定対象は、単一の制御器の精度というより、与えられた課題に対してエージェントがどの制御経路を選び、物理環境の制約下で実行できるかに広がる。 ただし、成功率34%は456の中核タスクにおける標準設定の値であり、全1,156タスクや実機全般の成功率を示すものではない。標準設定ではセンサー観測だけを与え、既定ではリセットも認めない一方、特権設定では完全な状態と無制限リセットを使える。両者の差は、現実に近い制約下の実行能力と、状態情報を利用した探索・学習の余地を分けて見る設計と読める。論文が特権設定の値を近似的な上限と位置づけるのも、この条件差を前提にしたものだ。 評価対象の幅も重要である。47台のロボットと35スイートに加え、新設9スイートが空間パズルや複数ロボットの相互作用、動的な全身制御を含むため、単純な把持課題だけでは見えにくい失敗を扱う構成となっている。シミュレーター間のエンジニアリングも対象に含めたことで、制御だけでなく、環境やシミュレーションの扱いが評価範囲に入る。ただし、タスク数やロボット数の多さだけで実環境への適用性が示されるわけではない。 今後の確認点は、エージェント別・タスク別の成績と失敗段階の分布がどのように異なるか、また標準設定の結果が実機での再現性をどこまで捉えるかである。抄録に示された34%だけでは、失敗が認識、計画、コード実行、制御のどの段階に集中するかは分からない。ベンチマークの価値は、総合点に加えて、こうした失敗の内訳を比較可能な形で提示できるかにかかる。

なぜ重要か

標準設定でセンサー観測だけを使い、既定では環境をリセットできない条件を設けたことで、エージェントの制御能力を、完全なシミュレーター状態や繰り返しのやり直しに頼る設定と区別して評価できる。ロボット開発者やエージェント開発者にとって、34%という中核タスクの成績に加え、失敗段階の比較が制御方法の選択や評価条件の見直しに役立つ可能性がある。