ベンチマーク構築2026/9/11arXiv:2609.13082

Embodied-BenchForge：具現化ベンチマーク構築のための閉ループエージェントワークフロー

Embodied-BenchForge: A Closed-Loop Agentic Workflow for Embodied Benchmark Construction

ユーザーの評価意図から具現化ベンチマークを自動構築するエージェントフレームワークを提案し、前方合成と後方検証・修復を統合した閉ループ合成を実現した。

詳しい要約

1. どんなもの？

- ユーザ指定の評価意図から完全な embodied benchmark を生成する agentic framework。 - Closed-Loop Benchmark Synthesis として構築を定式化。 - 前方の artifact 合成と後方の verification・repair を統合。 - Offline EQA Track で6つの benchmark、Interactive Embodied Track で220の実行可能タスクを含む1つの interactive benchmark を構築。

2. 先行研究と比べてどこがすごい？

- 既存手法は isolated stage のみ、または predefined environment・task family に特化。 - 多段構築で生じる dependent intermediate artifact を artifact-specific verification なしで下流に渡し、局所欠陥が最終 benchmark に伝播する問題があった。 - 本手法は artifact dependency graph と provenance を用いた verification・repair を構築全体に組み込む点が異なる。

3. 技術・手法の肝は？

- Skill-Orchestrated Artifact Synthesis：typed で再利用可能な skill を executable workflow に合成。 - Artifact dependency graph：中間出力と依存関係を記録。 - Requirement-Guided Verification and Repair：artifact-specific contract を構築中に適用。 - verification 失敗時は provenance に基づき local re-execution または upstream rollback を実行。

4. どうやって有効だと検証した？

- 代表的な MLLM と embodied agent を評価し、benchmark が observation-based understanding と closed-loop execution の両方でモデル能力を識別できることを示す。 - Quality assessment と ablation により benchmark 品質と verification・repair の有効性を検証。 - repair と skill-reuse の分析により効率的な局所回復と cross-benchmark 再利用性を実証。

5. 議論はある？

- 要旨からは不明。 - ただし verification・repair の有効性、局所回復、skill 再利用性が示されている。

6. 次に読むべき論文は？

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として Offline EQA Track、Interactive Embodied Track、MLLM、embodied agent が挙げられる。 - 同分野の定番として embodied benchmark、agentic workflow、verification and repair に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Baoyang Jiang, Fengchun Zhang, Leyuan Wang, Haotian Li, Yida Wang, Zhe Ji, Jinshan Lai, Xi Ren, Danyang Li, Zheng Yang, Jianwei Hu, Qiang Ma

分類: cs.AI

原文アブストラクト

Agentic systems offer a promising way to automate embodied benchmark construction, but existing approaches typically cover isolated stages or remain specialized to predefined environments and task families. More importantly, multi-step construction produces dependent intermediate artifacts that are often passed downstream without artifact-specific verification, allowing local defects to propagate into the final benchmark. We present Embodied-BenchForge, an agentic framework that transforms user-specified evaluation intents into complete embodied benchmark artifacts. It formulates construction as Closed-Loop Benchmark Synthesis, integrating forward artifact synthesis with backward verification and repair. Skill-Orchestrated Artifact Synthesis composes typed and reusable skills into executable workflows, while an artifact dependency graph records intermediate outputs and their dependencies. Requirement-Guided Verification and Repair applies artifact-specific contracts throughout construction and uses provenance to trigger local re-execution or upstream rollback when verification fails. Embodied-BenchForge constructs six benchmarks covering diverse embodied scenarios in the Offline EQA Track, together with one interactive benchmark containing 220 executable tasks in the Interactive Embodied Track. Evaluations of representative MLLMs and embodied agents show that the benchmarks distinguish model capabilities in both observation-based understanding and closed-loop execution. Quality assessment and ablations validate benchmark quality and the effectiveness of verification and repair, while repair and skill-reuse analyses demonstrate efficient localized recovery and cross-benchmark reusability.

arXivで原文を読む →arXiv概要ページ