Mimir: 対話環境における身体化エージェントのための動的グラウンディングを備えた神経記号記憶システム

Mimirは、長期的な身体性タスク（long-horizon embodied task）を遂行するエージェントのためのニューロシンボリックメモリシステムである。部分観測環境下で、シーン信念（scene belief）と実行進捗（execution progress）の両方を保持する。世界メモリ（world memory）とタスクメモリ（task memory）を分離し、各行動の前に動的グラウンディング（dynamic grounding）を行う。世界メモリは物体位置・状態・知覚的証拠を、タスクメモリは順序付き目標アジェンダ・進捗状態・手の状態・失敗・実行制約を管理する。グラウンディングモジュールがアクティブな目標を想起された世界候補に結び付け、欠落したソース位置を補完し、計画と実行の前に証拠を付与する。

従来のフラットな履歴や暗黙的なポリシー状態は過去の観測を含むが、現在のアクティブな目標を支える世界の事実を明示的に選択するインターフェースを提供しない。Mimirは世界メモリとタスクメモリを分離し、動的グラウンディングにより目標と世界の関連を明示的に結びつける点が新しい。また、複数のバックボーンにわたり一貫した性能向上を示し、特にEB-Habitat Long-horizonサブセットで86.0%の成功率を達成し、クローズドソースモデルを大幅に上回る。

手法の核心は、世界メモリとタスクメモリの分離と、行動前の動的グラウンディングである。世界メモリは物体の位置・状態・知覚的証拠を保持し、タスクメモリは目標アジェンダ・進捗・手の状態・失敗・実行制約を管理する。グラウンディングモジュールは、アクティブな目標を想起された世界候補にバインドし、欠落したソース位置を埋め、計画と実行の前に証拠を付与する。これにより、エージェントは部分観測下でも現在の目標に関連する世界の事実を明示的に利用できる。

EB-ALFREDとEB-Habitatのタスクで検証した。複数のバックボーンにわたりMimirを適用し、最大で42.5%の改善、平均で23.0%の改善を確認した。また、同じバックボーンで評価された先行エージェント・メモリシステムの最良結果と比較し、全体の平均成功率を8.5%向上させた。EB-Habitat Long-horizonサブセットでは86.0%の成功率を達成し、現在のクローズドソースモデルを大幅に上回った。

要旨からは、Mimirの限界や潜在的な欠点についての議論は不明である。ただし、動的グラウンディングの計算コストや、世界メモリのスケーラビリティ、タスクメモリの表現力などが今後の課題となる可能性が考えられるが、要旨には明記されていない。また、クローズドソースモデルとの比較はあるが、オープンソースモデルとの詳細な比較は不明。

要旨で参照されている先行研究や関連手法は明示されていないが、EB-ALFREDとEB-HabitatはEmbodied Benchmarkの一種であり、これらのベンチマークを提案した論文が関連する。また、ニューロシンボリックメモリやグラウンディングに関する一般的な研究（例えば、Memory NetworksやSymbolic Grounding）が関連する。具体的には、EB-ALFREDの元となったALFREDベンチマークの論文や、Embodied AIにおけるメモリシステムの研究が次に読むべき候補である。