arXiv、実体化エージェント向け記憶ベンチマーク「MemTransfer」を公開

何が起きたか

arXivは2026-09-26、実体化エージェントの意思決定における記憶の有効性を比べるベンチマーク「MemTransfer」を公開した。100件のナビゲーションケースを、10種類のタスクタイプを含む倉庫シミュレーションで評価し、共有の凍結済みVision-Language-Model方策の下で、ワーキングメモリの基準と過去経験を表す5種類の記憶表現、計6種類を比較している。開始姿勢、経路の利用可否、履歴の量とタスク関連性を変える3通りの比較を設け、記憶が残っていても条件変化に弱い場合があることを確認した。

詳細

1回のデモンストレーションでは、Full-context memoryとEpisodic memoryが元のデモ開始位置でそれぞれ95.3%と100.0%の成功率を示した一方、新しいテスト開始位置では48〜49ポイント低下した。Summaryは2つのテスト開始位置でほとんど変わらなかったが、4回のデモンストレーションでは、経路を遮断した条件での成功の保持率がWorking memoryの44.8%、2つのtrajectory memoriesの56〜58%に対し、より小さい39.3%だった。 新しいテスト開始位置では、関連するデモンストレーションを1回から4回に増やすとEpisodic memoryの成功率は14.3ポイント上がったが、他の評価対象の表現では増分は1.3ポイントを超えなかった。また、関連履歴の半分を他タスク経験に置き換えると、2つのtrajectory memoriesの成功率は低下した。

Key Facts

本紙の見方

MemTransferの新しさは、単に「記憶があるか」を見るのではなく、開始姿勢、経路の利用可否、履歴の量と関連性という3つのずれ方を分けて評価した点にある。実体化エージェント研究では、過去経験を保持できること自体が性能の十分条件とみなされがちだが、本ベンチマークは、その記憶を現在の意思決定にどう使えるかまで切り分けている。Full-context memoryとEpisodic memoryが元の開始位置では高い成功率を示しても、新しい開始位置で48〜49ポイント落ちた事実は、記憶の形式よりも状況適合性が支配的な局面があることを示す。 本紙の過去報道との接続はないが、今回の結果は「長い履歴を持つほど強い」という素朴な見方を補正する。Summaryが開始位置の変化にほとんど影響されなかった一方で、Episodic memoryだけは関連デモを1回から4回に増やしたときに14.3ポイント改善した。つまり、履歴の要約性と、具体的な関連経験の蓄積は同じものではなく、どの記憶表現がどの条件変化に強いかは分離して評価する必要があると読める。 業界構造への含意としては、倉庫内ナビゲーションのような実環境に近いタスクで、記憶表現ごとの弱点が異なることが明示された点が大きい。運用側から見れば、単一の成功率だけでは導入後の性能変動を読み切れず、開始位置のずれ、経路遮断、履歴のノイズ混入を個別に点検する必要がある。研究開発側では、ワーキングメモリ、trajectory memories、Episodic memory、Full-context memoryを同列に扱うだけでなく、どの情報を保持し、どのタイミングで参照するかが設計焦点になる。 未確定の論点は、各記憶表現の内部仕様と、10種類のタスクタイプごとの成績差である。ソース本文は成功率の総計を示すが、どのタスクでどの記憶が失敗したか、また実機への移植可能性や計算負荷がどう異なるかは書いていない。ベンチマークとしての有効性を判断するには、今後は個別タスクの内訳と、条件変更に対する失敗モードの分解が焦点になる。

なぜ重要か

arXivの発表によれば、MemTransferは同じ記憶表現でも開始条件や履歴の混ぜ方で成功率が大きく変わることを示した。実装側にとっては、記憶を増やすこと自体より、どの条件変化に耐えるかを確かめる評価枠組みが必要になる。