化学実験の身体性AIを評価するベンチマーク「BEAKER」、1,000問で28モデルを検証

何が起きたか

論文「BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories」は2026年11月4日、化学実験の自動化システム向けベンチマーク「BEAKER」を提示した。専門家が作成・確認した1,000問を11種類の画像・動画タスクにまとめ、28のモデルをオフラインの単一ターン設定で評価した。

詳細

評価対象となる課題には、器具の使い方に即した領域の特定、動作軌道の計画、器具・実験状態・安全性の認識、装置の組み立て、操作と手順の推論、時間経過を伴う手順の推論が含まれる。質問と注釈は化学と身体性AIの専門家が手作業で作成・確認し、AIによる生成・注釈は使っていない。 論文要旨によると、評価したモデルは動画中の大まかな実験手順には対応できる一方、操作可能な領域や実行可能な軌道の特定、細かな器具・状態・安全規範の認識、中程度の長さの手順の順序づけに課題があった。

Key Facts

本紙の見方

BEAKERの焦点は、化学実験の手順を言葉や映像から大づかみに理解できるかではなく、実験室の状態を読み取り、実行可能な操作へ結び付けられるかに置かれている。1,000問・11タスクという設計に、器具や状態の認識、軌道計画、安全性、手順の時間的な順序が含まれるため、実験自動化を「指示に従う能力」だけで評価しない点が特徴だ。28モデルを比較する共通の評価枠組みを提示した一方、これはベンチマーク上の評価であり、実機を使った実験の成功率を示すものではない。 要旨が示す能力差は、モデルが動画内の大まかな手順を追えても、手を伸ばすべき領域や実行可能な軌道、細かな器具・状態・安全規範の認識、手順の順序づけには課題を残すというものだ。つまり、実験の説明を理解する能力と、物理環境で次の動作を安全に選ぶ能力は分けて測る必要がある。BEAKERがその差を複数のタスクに分解したことは、モデルの総合点だけでは見えにくい失敗箇所を特定するための設計とみられる。 また、専門家が質問と注釈を作成・確認し、AIによる生成・注釈を使わなかった点は、評価用データの作り方を明示している。ただし、化学・身体性AIの専門家が確認したことだけで、実際の研究室にある器具や手順、安全規則をどこまで代表するかは判断できない。11タスクの内訳や採点基準、モデルごとの結果、実機環境での動作評価との対応が、ベンチマークの適用範囲を読むうえで次の確認事項となる。評価がオフラインかつ単一ターンであるため、複数段階のやり取りや、動作後に環境を再認識して計画を修正する能力も、この要旨からは評価対象と確認できない。実験を自動化する側にとっては、言語モデルの手順理解だけで安全な実行を見込まず、知覚・動作計画・状態認識を個別に検証する必要性を示す診断枠組みとなる。

なぜ重要か

論文要旨では、モデルは動画内の大まかな実験手順に対応できる一方、操作可能な領域や軌道、器具・状態・安全性の細かな認識に課題があると報告された。化学実験の自動化を評価する際、手順理解だけでなく、物理的に実行可能な動作と安全判断を別に確かめる必要性を示す。