日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
継続学習arXiv:2610.13021

EmbodiedCLBench：自己進化型身体性エージェントの継続学習を評価するベンチマーク

EmbodiedCLBench: Evaluating Continual Learning for Self-Evolving Embodied Agents

シェア:XThreadsFacebookLINEはてブBluesky

身体性シミュレーション環境で継続学習能力を評価する初のベンチマークを提案し、基本タスクから学んだ経験が複雑な未見タスクの解決に一貫して役立つ一方、学習サンプル数に応じて改善がスケールしないことを示した。

詳しい要約

1. どんなもの？

- 本論文は EmbodiedCLBench を提案する。 - embodied simulation における self-evolving agents の continual learning 能力を評価する初の benchmark。 - compositional generalization を中核評価原理とする。 - 評価の流れ - エージェントが basic tasks から学習し、獲得した skills を再結合して複雑で未見の advanced tasks を解けるかを評価する。 - 提供物 - code と dataset を公開。

2. 先行研究と比べてどこがすごい？

- 先行研究との違い - 既存の continual learning 研究は主に non-embodied settings に限定され、embodied environments へ拡張されていない。 - 本研究の貢献 - embodied simulation における self-evolving agents の continual learning を評価する初の benchmark を提供。 - compositional generalization を評価原理として導入。 - 実験結果 - 複数の agent harnesses と learning methods にわたり、一貫した限界と特徴的な挙動を明らかにした。

3. 技術・手法の肝は？

- 評価の枠組み - EmbodiedCLBench は embodied simulation 上で構築された benchmark。 - compositional generalization を中核原理とし、basic tasks から学習した skills を再結合して advanced tasks を解く能力を測る。 - 実験設計 - 複数の agent harnesses と learning methods を対象に広範な実験を実施。 - 具体的な手法名やモデル構造は要旨からは不明。

4. どうやって有効だと検証した？

- 検証方法 - EmbodiedCLBench に基づき、複数の agent harnesses と learning methods で広範な実験を実施。 - 主な結果 - zero-shot setting では advanced tasks をほとんど解けない。 - basic tasks からの experience により一貫した改善が見られる。 - この改善は task complexity が増しても安定。 - ただし改善は learning samples の数に比例してスケールせず、現在の agents は追加経験から有意な情報を抽出できない。

5. 議論はある？

- 議論の焦点 - continual learning は fundamental かつ underexplored な能力であると強調。 - benchmark が embodied environments における効果的な self-evolving agents 設計のための有用な資源を提供。 - 限界 - 現在の agents は追加経験から意味のある情報を抽出できず、サンプル数に応じた改善がスケールしない。 - その他の議論や制約は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究 - 既存の continual learning 研究（non-embodied settings に限定） - compositional generalization 関連研究 - 関連手法 - self-evolving agents - embodied simulation - agent harnesses - learning methods - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jie Huang, Yanan Chen, Ruixun Liu, Kaichen He, Xinyi He, Rui Huang, Zilong Zheng, Zhenliang Zhang, Yiwu Zhong

分類: cs.AI, cs.CL, cs.CV

原文アブストラクト

Continual learning requires models to accumulate past experience and transfer it to new tasks. Despite substantial research on continual learning, existing work remains largely confined to non-embodied settings, without extending to embodied environments. To address this gap, we introduce EmbodiedCLBench, the first benchmark in embodied simulation for evaluating the continual learning capability of self-evolving agents. With compositional generalization as the core evaluation principle, our benchmark evaluates whether agents can first learn from basic tasks and then recombine the acquired skills to solve complex, unseen advanced tasks. Based on EmbodiedCLBench, we conduct extensive experiments across multiple agent harnesses and learning methods, revealing consistent limitations and distinctive behaviors. Our results show that while advanced tasks can be hardly solved under zero-shot setting, the experience from basic tasks enables consistent improvement. Such benefit from the experience remains stable even if the task complexity increases. However, this improvement does not scale accordingly with the number of learning samples, and current agents cannot extract meaningful information from additional experience. Collectively, our findings highlight continual learning as a fundamental yet underexplored capability, and our benchmark offers valuable resources for designing effective self-evolving agents in embodied environments. Our code and dataset are available at https://pku-value-lab.github.io/EmbodiedCLBench-homepage.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI