宇宙機エージェントの記憶システム評価ベンチマークAstroMemBench

- 宇宙機の embodied agent における記憶システムのベンチマーク AstroMemBench を提案 - 長期宇宙自律に必要な要件（通信遅延、時間制約、環境不確実性、物理相互作用、電力・計算制約、安全・信頼性）を実行可能な記憶テストへ写像する Scenario-Challenge-Capability 設計法を導入 - 惑星表面運用、on-orbit servicing、deep-space exploration の9タスクにわたり、16の記憶 subchallenge、140テンプレート、2240インスタンスを収録 - 決定論的環境がタスク完了、状態変化、安全、資源使用で行動を採点 - AstroMemBench 1.0 と評価コードを公開

- 宇宙機 embodied agent の記憶システムに特化したベンチマークを提示 - 長期宇宙自律の運用要件を Scenario-Challenge-Capability で体系的にテストへ変換する点が特徴 - 9条件の ablation で、履歴情報の回復・利用精度と記憶システム設計の差異に敏感であることを示す - 6構成を比較し、同一セッションでは Mem0、Chain-of-Memory、LightMem、RAG が native Pi Agent より平均スコアを改善 - ただし3つの記憶システムが RAG より明確に優れるわけではないという知見を提示 - 要旨からは、既存ベンチマークとの直接比較の詳細は不明

- Scenario-Challenge-Capability 設計法により、宇宙運用要件を実行可能な記憶テストへ対応付け - 16の記憶 subchallenge を140テンプレート・2240インスタンス・9タスクとして実装 - 決定論的環境で、タスク完了・状態変化・安全・資源使用を基準に行動を採点 - 9条件の ablation で履歴情報の回復・利用と記憶システム設計への感度を評価 - 6構成（Mem0、Chain-of-Memory、LightMem、RAG、native Pi Agent 等）を比較 - セッション再起動後の性能も評価

- 9条件の ablation を実施し、履歴情報の回復・利用精度および記憶システム設計の違いに対する感度を確認 - 6構成の主実験を実施し、同一セッションで Mem0、Chain-of-Memory、LightMem、RAG が native Pi Agent の平均スコアを上回ることを示す - セッション再起動後、Mem0 が RAG を12.25ポイント上回ることを示す - 利得は ongoing state tracking や energy reservation より instruction retention と result reuse に偏ることを示す - 具体的なタスク別スコアや統計的検定の詳細は要旨からは不明

- 同一セッションでは3つの記憶システムが RAG より明確に優れない点を議論 - セッション再起動後は Mem0 が RAG より12.25ポイント優位 - 利得が instruction retention と result reuse に偏り、ongoing state tracking や energy reservation では限定的である点を提示 - 宇宙機 embodied agent の記憶システム設計・開発・選択を支援する位置づけ - 限界や今後の課題の詳細は要旨からは不明

- Mem0 - Chain-of-Memory - LightMem - retrieval-augmented generation (RAG) - native Pi Agent - 同分野の定番として embodied agent の long-term memory や retrieval-augmented generation に関する関連研究