EmbodiedLab、実験を通じて知識を得るロボットエージェントのベンチマークを公開

何が起きたか

arXiv掲載論文「EmbodiedLab: Benchmarking Embodied Agents That Act to Know」は2026年10月26日、実験を通じて知識を得るロボットエージェントのベンチマークを発表した。対象は5分野の30実験、14種類の装置で、6つのモデルを評価した。ネイティブな観察・制御では、最も成績の高いエージェントも成功率が半分に届かなかった。

詳細

各実験では、システムのパラメーターを実行ごとに再設定し、事前に結果が分からない一方、結果を正確に採点できるようにした。エージェントは目的と装置を与えられ、手順を自ら選んで物理ベースのシミュレーション実験室を操作する。計測器の読み取りにはカメラを使う。 評価では、エージェントが実験中に記録した読み取り値に基づく知識と、課題で求められる物理状態を確認する。論文によると、全実験で解決可能性を検証した。評価は開発者のコーディングエージェントを用い、ネイティブな観察・制御、知覚と動作計画の追加、強いエージェントから蒸留した操作スキルの利用という設定で行った。全エージェントで失敗の多くは装置との相互作用に起因し、操作スキルは知覚・計画の追加より弱いエージェントの改善に役立ったという。

Key Facts

本紙の見方

EmbodiedLabの特徴は、目標状態があらかじめ与えられた物体操作ではなく、操作の結果を読み取り、何を知るべきかを自ら確かめる過程まで評価対象にした点にある。科学的発見ベンチマークが記号操作や数値問い合わせに置き換えていた物理実験を、装置を使う課題として扱う。実験ごとに系のパラメーターを変え、答えを事前に固定できない一方で採点可能にした設計が、この評価を成立させる条件となっている。 30実験を5分野、14種類の装置にまたがらせたことで、評価対象は単一の操作課題に限られない。ただし、ここで示されたのは物理ベースのシミュレーション実験室での結果であり、実機での性能を直接示すものではない。ネイティブ制御で最も成績の高いエージェントも半数未満しか成功せず、失敗の多くが装置との相互作用にあるという結果は、言語や推論だけでなく、計測器を読み、実験器具を扱う能力が課題達成を左右することを示している。 比較では、知覚と動作計画を追加する設定と、強いエージェントから蒸留した操作スキルを使う設定も設けた。論文の結果では、操作スキルは弱いエージェントに対して、知覚・計画の追加より有効だった。これは、少なくともこのベンチマークでは、失敗の改善策を認識や計画の強化だけに求めず、装置操作そのものの技能として切り分ける余地があることを示唆する。どの種類の実験・装置で差が生じたかは、分野別・装置別の評価を追う上での論点となる。 次に確認すべきなのは、シミュレーションで得た操作スキルが実機に移るか、装置や実験条件が変わっても維持されるかである。また、評価は記録された計測値に基づく知識と物理状態の双方を確認するため、実験中の読み取りが最終回答にどう結び付いたか、各設定でどの失敗が減ったかも重要となる。論文は評価コードの公開を案内しているが、ここに示された情報だけでは、実機での検証結果や実験ごとの成功率までは確認できない。

なぜ重要か

従来の物体操作ベンチマークが目標状態への到達を測るのに対し、EmbodiedLabは実験の手順選択、装置操作、読み取りに基づく知識の獲得を一つの課題として評価する。論文では装置との相互作用が失敗の主因とされており、エージェントの能力評価で、推論結果だけでなく実験器具を扱う技能を分けて測る必要性に関わる。