身体性エージェント評価2026/10/9arXiv:2610.13534

MAGMA-Bench：動的タスクと実行失敗下での長期的身体性エージェントの評価

MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures

動的なマルチロボット環境で長期的なタスク推論を行うエージェントを評価するベンチマークMAGMA-Benchを提案し、既存モデルが実行失敗やタスク更新などの摂動下で性能が低下することを示した。

詳しい要約

1. どんなもの？

- MAGMA-Benchは、動的マルチロボット環境における長期的タスク推論を評価するアーキテクチャ非依存のベンチマーク。 - タスクホライズンの増加と、実行失敗・タスク中断・ミッション更新などのオンライン摂動を制御して評価。 - 異種能力を持つロボット間の協調を必要とするシナリオを含む。 - スキルレベルインターフェースでタスクレベル推論を知覚・低レベル制御から分離。 - ローカル展開可能なオープンウェイトプランナー、マルチエージェント状態追跡戦略、フロンティアモデルを評価。

2. 先行研究と比べてどこがすごい？

- 既存ベンチマークは動的タスク実行と embodied multi-agent coordination を個別に調査。 - しかし、それらの交差点の評価は限定的。 - MAGMA-Benchは、動的タスク実行とマルチロボット協調の交差点を評価する点が新しい。 - アーキテクチャ非依存で、長期的タスク推論に焦点。 - オンライン摂動を制御して評価する点も先行研究と異なる。

3. 技術・手法の肝は？

- 構造化されたスキルレベルインターフェースを採用。 - タスクレベル推論を知覚・低レベル制御から分離。 - タスクホライズンを増加させ、実行失敗・タスク中断・ミッション更新などのオンライン摂動を制御。 - 異種能力ロボット間の協調を必要とするシナリオを設計。 - アーキテクチャ非依存のエキスパートトレース生成パイプラインを提供。

4. どうやって有効だと検証した？

- ローカル展開可能なオープンウェイトプランナー、マルチエージェント状態追跡戦略、フロンティアモデルを評価。 - 最強の評価モデルでもクリーンエピソードの相当割合で失敗。 - オンライン摂動下で成功率がさらに低下。 - 教師あり適応は小規模モデルを大幅に改善するが、長期的・マルチロボットミッションでは性能が依然として低い。 - ベンチマーク、261,646のタスクレベル訓練例、エキスパートトレース生成パイプラインを公開。

5. 議論はある？

- 最強モデルでもクリーンエピソードで失敗し、オンライン摂動で成功率が低下。 - 教師あり適応は小規模モデルを改善するが、長期的・マルチロボットミッションでは性能が低いまま。 - 長期的タスク推論とマルチロボット協調の交差点における課題が残る。 - その他の議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、embodied multi-agent coordination や dynamic task execution のベンチマーク（例: ALFRED, AI2-THOR, Habitat, RoboTHOR など）が関連。 - また、長期的タスク推論のためのプランナー（例: LLM-based planners）やマルチエージェント状態追跡手法も読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Loan Bernat, Matthieu Grard, Ariane Herbulot, Florent Lamiraux

分類: cs.AI, cs.RO

原文アブストラクト

Long-horizon embodied agents must maintain task-relevant information, coordinate heterogeneous robots, and adapt their decisions as execution unfolds. Existing benchmarks investigate dynamic task execution and embodied multi-agent coordination, but provide limited evaluation of their intersection. We introduce MAGMA-Bench, an architecture-agnostic benchmark for persistent task reasoning in dynamic multi-robot environments. MAGMA-Bench evaluates agents across increasing task horizons and controlled online perturbations, including execution failures, task interruptions, and mission updates, with scenarios requiring coordination across robots with heterogeneous capabilities. It uses a structured skill-level interface to separate task-level reasoning from perception and low-level control. We evaluate locally deployable open-weight planners, multi-agent state-tracking strategies, and frontier models. Even the strongest evaluated models fail on a substantial fraction of clean episodes, and their success rates decrease further under online perturbations. Supervised adaptation greatly improves a small model, but performance remains substantially lower on longer and multi-robot missions. We release the benchmark, 261,646 task-level training examples, and an architecture-agnostic expert-trace generation pipeline.

arXivで原文を読む →arXiv概要ページ

← 論文一覧