宇宙機エージェントの記憶評価ベンチマーク「AstroMemBench」を公開

何が起きたか

論文「AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents」が2026年11月12日に公開された。ベンチマークは、惑星表面作業、軌道上サービス、深宇宙探査の9タスクを対象とし、16の記憶サブチャレンジを140テンプレート、2240インスタンスで構成する。実験では、セッション再起動後のMem0がRAGを12.25ポイント上回った。

詳細

AstroMemBenchは、記憶要件を実行可能なテストに対応させる「Scenario-Challenge-Capability」設計法を採用する。決定論的な環境で、タスク完了、状態変化、安全性、資源使用を採点し、9条件のアブレーションで、過去情報の検索・利用精度や記憶システム設計の違いに対するベンチマークの感度を調べた。 主実験では6構成を比較した。同一セッション内の平均スコアは、Mem0、Chain-of-Memory、LightMem、検索拡張生成（RAG）がネイティブのPi Agentを上回った一方、3つの記憶システムがRAGを明確に上回る差は確認されなかった。効果は指示の保持と結果の再利用で大きく、継続的な状態追跡やエネルギー予約では小さかった。AstroMemBench 1.0と評価コードは公開されている。

Key Facts

本紙の見方

この研究の焦点は、宇宙機向けエージェントの「記憶」を一括して評価せず、実作業の条件に沿うテストへ分解した点にある。16のサブチャレンジを140テンプレート、2240インスタンスへ展開し、惑星表面作業から深宇宙探査までを扱う。単に過去の情報を検索できるかではなく、その情報を使った行動がタスク完了、安全性、状態変化、資源使用にどう結び付くかを決定論的環境で採点する設計である。通信遅延や電力・計算資源の制約を伴う宇宙運用を想定した評価軸として、記憶の有用性を行動結果と同じ枠組みで比べようとしている。 結果は、記憶機構の優劣が一律ではないことを示す。同一セッション内ではMem0、Chain-of-Memory、LightMemがネイティブのPi Agentを上回る一方、RAGに対する明確な優位は示されなかった。セッション再起動後はMem0がRAGを12.25ポイント上回り、セッションをまたぐ情報保持が差を生む条件が確認された。したがって、単一の平均スコアだけで「記憶システム」を選ぶより、状態が継続する運用と再起動を挟む運用を分けて評価する必要があるとみられる。 さらに、効果が指示の保持と結果の再利用に偏り、進行中の状態追跡やエネルギー予約では小さかった点は、記憶容量の拡大だけでは実運用上の要件を満たせない可能性を示す。宇宙機では古い指示の保持と現在状態の更新が異なる失敗につながり得るため、ベンチマーク上の得点をそのまま運用安全性と同一視できない。今回の評価は、記憶方式間の比較に加え、どの情報種別で改善が起きるかを切り分ける材料になる。 一方、公開された概要からは、6構成の全内訳や各タスク別のスコア、12.25ポイントの集計条件、実機運用との対応関係は確認できない。今後は、ベンチマーク内の得点差が異なる通信遅延・電力条件でも維持されるか、状態追跡や資源予約を改善する設計が安全性の採点にも反映されるかが検証点となる。AstroMemBench 1.0と評価コードが公開されたことで比較手順の再現性は確保されるが、実際の宇宙機での効果を示すものとは区別して読む必要がある。

なぜ重要か

このベンチマークは、宇宙機エージェントの記憶を、情報の保持だけでなくタスク完了、安全性、資源使用を含む行動結果で評価する。実験でセッション再起動後にMem0とRAGの差が現れたことは、運用の継続条件によって方式の比較結果が変わり得ることを示している。