日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ベンチマーク/計画arXiv:2611.04228

DualWorldBench:記号的・実世界の両世界でエージェントは配送計画を立てられるか

DualWorldBench: Can Agents Plan Deliveries across Symbolic and Grounded Worlds?

シェア:XThreadsFacebookLINEはてブBluesky

記号的な時間制約と実世界のトポロジー制約の両方でエージェントの配送計画能力を評価する統一ベンチマークを提案し、局所理解と全体計画の間に共通のギャップがあることを示した。

詳しい要約

1. どんなもの?

- DualWorldBench は、マルチモーダルエージェントの配送計画能力を評価する統一ベンチマーク。 - pickup–delivery インターフェースを共有する3要素で構成。 - TextWorld: 記号的計画をタスク構成や release dynamics の変化の下で評価。 - SimWorld: トポロジー変化の下で grounded な経路計画を text/image/multimodal 入力で評価。 - DualWorld-VQA: 知覚・scene understanding・planning を診断するスイート。 - 時間・物理・マルチモーダル制約下の多目的計画を対象とする。

2. 先行研究と比べてどこがすごい?

- 既存評価は組合せ構造が限られた簡略タスクに依存しがち。 - 本研究は symbolic–temporal と grounded–topological の複雑性を統制して評価する点が異なる。 - 単一の共有 pickup–delivery インターフェースで複数世界を横断評価できる。 - 知覚・推論・計画の統合を多角的に診断する点が特徴。

3. 技術・手法の肝は?

- 共有 pickup–delivery インターフェースを基盤に3コンポーネントを設計。 - TextWorld でタスク構成と release dynamics を変化させ記号的計画を分離評価。 - SimWorld でトポロジー変化を統制し text/image/multimodal 入力の grounded 経路計画を評価。 - DualWorld-VQA で知覚・scene understanding・planning を診断。 - 局所理解と大域的に整合した計画のギャップを測る設計。

4. どうやって有効だと検証した?

- TextWorld で相互作用する時間制約下の最適タスク列導出が困難と確認。 - SimWorld で grounded 観測が実行可能な行動列へ確実に変換されないと確認。 - DualWorld-VQA で知覚・トポロジー理解が制約付き計画に直結しないと確認。 - これらにより知覚–推論–計画統合の課題を実証的に示した。

5. 議論はある?

- 中心的課題は symbolic/grounded 証拠を大域的に実行可能で効率的な多目的計画へ構成すること。 - 局所理解と大域計画の間に共通のギャップがあると指摘。 - 知覚やトポロジー理解だけでは制約付き計画に不十分。 - より緊密な perception–reasoning–planning 統合の必要性を示唆。 - 個別コンポーネント間の詳細な要因分析は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照/比較された個別研究は明示されず。 - 関連手法として embodied planning や web interaction のマルチモーダルエージェント研究、VQA ベースの診断研究が想定されるが具体名は要旨からは不明。 - 同分野の定番として Vision-Language Model を用いた embodied planning 関連研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yang Chen, Bin Wen, Danyang Peng, Hong-Jie You, Zi-Qiao Shang, Lan-Zhe Guo

分類: cs.AI

原文アブストラクト

Recent multimodal agents have shown promising progress in embodied planning and web interaction. However, existing evaluations often rely on simplified tasks with limited combinatorial structure, leaving it unclear whether current agents can robustly integrate perception and reasoning for multi-goal planning under temporal, physical, and multimodal constraints. We introduce DualWorldBench, a unified benchmark for evaluating agent planning under controlled symbolic--temporal and grounded--topological complexity. Built around a shared pickup--delivery interface, DualWorldBench consists of three complementary components: TextWorld, which isolates symbolic planning under varying task compositions and release dynamics; SimWorld, which evaluates grounded path planning under controlled topological variation with text, image, or multimodal inputs; and DualWorld-VQA, a diagnostic suite spanning perception, scene understanding, and planning. Experiments reveal a common gap between local understanding and globally consistent planning. In TextWorld, agents struggle to derive optimal task sequences under interacting temporal constraints; in SimWorld, grounded observations are not reliably converted into feasible action sequences. DualWorld-VQA further confirms that perception and topology understanding do not necessarily translate into constrained planning. Together, these results identify the central challenge as composing symbolic or grounded evidence into globally feasible and efficient multi-goal plans. These findings establish DualWorldBench as a challenging testbed for agents with tighter perception--reasoning--planning integration. All datasets and code are publicly available at our project website https://dualworld.netlify.app/.

PR本紙発行元 EmplifAI