Labference：ロボット実験室における推論と行動の連携を評価するベンチマーク

- ロボティックラボラトリーにおける「観察された物理的結果が後続の選択をどう導くか」を評価するベンチマーク Labference の提案。 - 実験目標を信頼できる物理手順に変換する Embodied AI for Science を対象。 - 評価プロトコルは、制御された evidence variations による outcome-dependent behavioral adaptation を試す設計。 - operation selection、physical execution、task completion を独立に測定。 - 共有 checkpoint からの Oracle-assisted continuations で支援形態の効果も評価。

- 既存 benchmark は planning、manipulation、laboratory workflows を task completion や reasoning/execution metrics で評価。 - しかし集約性能では、outcome-dependent choices と physical execution の結び付きが未解明だった。 - Labference はこの評価ギャップを埋めるため、結果依存の選択と物理実行を分離して測る点が新しい。 - 支援の有無を比較できる Oracle-assisted continuations も導入。

- 制御された evidence variations を用い、観察結果に応じた行動適応を試す評価プロトコル。 - operation selection、physical execution、task completion を独立に計測。 - 共有 checkpoint から Oracle-assisted continuations を生成し、後続選択と完了への支援効果を比較。 - 初期の weighing evaluations で VLA policies と GPT-driven control を比較。

- 初期の weighing evaluations を実施。 - テストした VLA policies は object transfers に成功しても target-selection errors を示した。 - GPT-driven control は正しい選択を達成するが execution failures と大きな computation costs に直面。 - これらにより reasoning と reliable, timely action の接続課題を可視化。

- VLA policies の target-selection errors と GPT-driven control の execution failures/computation costs が対照的。 - task-appropriate reasoning と reliable, timely action の接続が必要と論じる。 - Labference によりこの接続を測定・診断可能にし、自律実験への改善を支援。 - 具体的な限界や今後の拡張は要旨からは不明。

- 要旨で直接参照/比較された研究は明示されず。 - 関連手法として VLA policies、GPT-driven control、Oracle-assisted continuations が挙げられる。 - 同分野の定番として language-based planning と learned manipulation の統合研究を次に読むべき。