SciHorizon-eLab: 科学実験用身体性エージェントのスケーラブルなベンチマークのためのエージェント型プロトコル・タスクコンパイラ

- 科学実験の自動化を目指すembodied agentsの評価環境を自動構築する、agentic protocol-to-task compiler「SciHorizon-eLab」を提案。 - 自然言語の実験protocolを、意味を保ったembodied taskへと段階的にコンパイルする。 - semantic grounding、executable task synthesis、multi-stage simulation-based certificationの3段階で構成。 - 300のcertified tasksからなるbenchmark「BenchName」も構築し、HIL実行やexpert demonstration生成、step-level評価を支援。

- 既存のsimulation-based laboratory benchmarksは手動のtask engineeringに大きく依存していた。 - 本手法はprotocol-to-task compilation問題として定式化し、多様なscientific protocolsを実行可能かつ検証可能なembodied tasksへ大規模に自動コンパイル可能にした。 - 再現可能なexpert demonstrationsとexecution tracesの生成も可能にした点が先行研究と異なる。

- 自然言語protocolを入力とし、semantic groundingで意味的に接地した環境を生成。 - executable task synthesisにより実行可能なmanipulation programsを合成。 - multi-stage simulation-based certificationでstep-level success specificationsを付与し、検証済みタスクを出力。 - これにより再現可能なexpert demonstrationsとexecution tracesの生成を実現。

- 構築したBenchNameは多様なlaboratory operationsにわたる300のcertified tasksを含む。 - HIL task execution、再現可能なexpert-demonstration生成、ordered step-level evaluationをサポート。 - 代表的なタスクで最強のpolicyでも平均成功率は49.7%にとどまり、humanとembodied agentのcoordinationに顕著な弱点があることを示した。

- 最強policyの平均成功率が49.7%と低く、humanとembodied agentのcoordinationに顕著な弱点があると報告。 - その他の議論や限界については要旨からは不明。

- 要旨で参照・比較されている個別の先行研究は明示されていない。 - 同分野の関連手法として、simulation-based laboratory benchmarksやembodied agent benchmarks（例: RLBench, ALFRED, BEHAVIOR）が挙げられる。