日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
身体性エージェント記憶arXiv:2610.12561

身体性エージェントは何を記憶すべきか?記憶モダリティのベンチマークと評価

What Should Embodied Agents Remember? Benchmarking and Evaluating Memory Modality for Embodied Agents

シェア:XThreadsFacebookLINEはてブBluesky

身体性エージェントの記憶モダリティを評価するベンチマークMeMoREvalを提案し、フレーム記憶が生成説明より低コストで高性能、シーングラフ併用が最高精度と示した。

詳しい要約

1. どんなもの?

- 本論文は、embodied agents の memory modality を評価するための benchmark である MeMoREval を提案する。 - 制御された experience-request protocol を通じて、agents が将来のタスクを知らずに一連のイベントを経験し、その後新しい観察なしに memory を使って情報要求や行動要求に応答する。 - 53 のタスクを 4 つの simulated indoor environments で構成し、タスク成功率と memory 構築・使用の推論コストを測定する。 - 参照評価では、frames の保存が generated descriptions の保存よりも主要モデルにおいて低い write-time inference cost で優れ、frames と scene graphs の保存が全テストモデルで最高の aggregate task success を達成した。 - 蓄積経験、選択的 frame retention、memory writers への視覚入力への拡張も可能である。 - 2…

2. 先行研究と比べてどこがすごい?

- 従来の LLM agents の memory は主に textual records として保存されることが多かったが、embodied agents では visual および spatial observations が memory modality の選択肢を広げる。 - 本論文は、memory modality の選択が後続タスクで利用可能な情報と推論コストの両方に影響することを体系的に研究する benchmark を提供する点で先行研究と異なる。 - 具体的な比較対象や先行研究の性能との直接比較は要旨からは不明。

3. 技術・手法の肝は?

- MeMoREval は controlled experience-request protocol を採用し、agents が将来のタスクを知らずにイベントを経験し、その後 memory のみを使って要求に応答する。 - 4 つの simulated indoor environments で 53 タスクを実施し、タスク成功率と memory 構築・使用の推論コストを測定する。 - 参照評価では、frames、generated descriptions、frames with scene graphs などの memory modality を比較する。 - 拡張として、accumulated experience、selective frame retention、visual input to memory writers が可能である。

4. どうやって有効だと検証した?

- 4 つの simulated indoor environments で 53 タスクを実行し、タスク成功率と推論コストを測定することで有効性を検証した。 - 参照評価により、frames の保存が generated descriptions より低い write-time inference cost で優れ、frames with scene graphs が全モデルで最高の aggregate task success を示した。 - 2 つの physical-robot demonstrations により、シミュレーション外でのプロトコルの実現可能性を確認した。

5. 議論はある?

- 本論文は memory modality の選択が情報利用可能性と推論コストに影響することを示し、frames with scene graphs が最も高い aggregate task success を達成することを報告している。 - 蓄積経験、選択的 frame retention、memory writers への視覚入力などの拡張が可能であり、さらなる memory-design 研究に対応できる。 - 限界や議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、LLM agents の memory に関する研究や embodied agents の visual/spatial memory に関する研究が挙げられるが、具体的な論文名は要旨からは不明。 - 同分野の定番として、memory-augmented LLM agents や embodied AI の benchmark 研究を参照することが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junxiang Wang, Yuchen Liu, Yi Wu, Guofei Chen, Nir Pechuk, Tao Chen, Zackory Erickson, Yuzhe Qin, Tianyu Li

分類: cs.RO

原文アブストラクト

Memory allows large language model (LLM) agents to use past experience, often stored as textual records, when responding to requests. For embodied agents that control robots, visual and spatial observations introduce a broader choice of memory modalities, affecting both the information available for subsequent tasks and the model inference costs of constructing and using memory. We introduce MeMoREval, a benchmark for studying this problem through a controlled experience-request protocol. Agents first experience a sequence of events without knowing the subsequent tasks, and subsequently they use memory to respond to information and action requests without receiving new observations. The benchmark comprises 53 tasks across four simulated indoor environments and measures task success alongside the inference costs of memory construction and use. Our reference evaluations reveal that storing frames outperforms storing generated descriptions at lower write-time inference cost for the primary model, while storing frames with scene graphs achieves the highest aggregate task success for every tested model. Extensions to accumulated experience, selective frame retention, and visual input to memory writers demonstrate how the benchmark accommodates further memory-design investigations. Two physical-robot demonstrations establish the feasibility of applying its protocol beyond simulation.

PR本紙発行元 EmplifAI