フロンティアエージェントのEBenchによる性能評価：直接制御からポリシー併用ハーネスまで

- EBench 上で frontier MLLM「GPT-6-Astra」をロボット制御エージェントとして評価した技術報告 - 同一の視覚・固有感覚観測プロトコルの下で、post-trained な VLA / WAM ポリシーと比較 - 2 つのエージェント構成を検討 - direct control: エージェントが waypoint コマンドを直接生成 - harness with policy: post-trained な VLA または WAM ポリシーを呼び出して行動実行も可能 - 操作タスクの要求に応じた能力比較と相互作用を分析

- 従来の post-trained VLA / WAM ポリシーに対し、ロボット特化学習なしの frontier MLLM エージェントを同一観測プロトコルで直接比較 - direct control では post-trained ポリシーに対し総合性能で競争力あり - short-horizon タスクで優位 - generalization 次元間の性能変動が最小 - 一方で long-horizon、tabletop manipulation、high-precision contact-rich タスクでは劣る - harness with policy では VLA / WAM 呼び出しにより相補的な強みを統合し、最強の比較対象ポリシー並みの成功率かつ token cost を大幅削減

- EBench を評価基盤とし、GPT-6-Astra をエージェントハーネス経由でロボット制御 - post-trained ポリシーと同一の視覚・固有感覚観測プロトコルを適用 - direct control 構成: エージェントが waypoint コマンドを直接生成 - harness with policy 構成: エージェントが post-trained な VLA または WAM ポリシーを呼び出して行動実行 - 両構成の性能、generalization 次元、token cost を比較分析

- EBench 上で GPT-6-Astra エージェントを post-trained な VLA / WAM ポリシーと比較評価 - direct control の総合性能、short-horizon 優位、generalization 次元間の変動、long-horizon・tabletop・contact-rich での劣位を測定 - harness with policy で VLA / WAM 呼び出しによる成功率向上と token cost 削減を確認 - ただし per-task upper bound を下回る要因(suboptimal policy invocation、subgoals なしの固定指示実行、制御再開時の grasp disruption)を分析

- harness with policy は相補的強みを統合し最強の比較対象ポリシー並みの成功率を達成し token cost も削減 - しかし standalone コンポーネントの per-task upper bound には届かない - suboptimal policy invocation - subgoals なしの固定指示実行 - エージェントが制御を再開する際の grasp disruption - frontier MLLM エージェントの能力境界を特徴づけ、将来の agent harness 設計改善の方向性を示唆 - 具体的な改善手法や追加実験の詳細は要旨からは不明

- 要旨で比較対象として明示される post-trained VLA ポリシー - 同様に比較対象の WAM (world action model) ポリシー - 基盤ベンチマークである EBench - 関連する frontier MLLM によるロボット制御研究(具体名は要旨からは不明) - agent harness 設計に関する研究(具体名は要旨からは不明)