マルチモーダルメモリ圧縮による長期的身体化意思決定

本論文は、長期的な人間中心の具現化意思決定（embodied decision-making）を評価する新しいベンチマークDunphyBenchを提案し、さらに、このベンチマークで性能劣化の原因となる記憶管理の問題を解決するための手法MeMentoを導入している。DunphyBenchでは、エージェントが複数の具現化された住宅環境をナビゲートし、多次元の人間の好みに合致する決定を下すことが求められる。MeMentoは、ユーザーの好みに基づいて長期的な履歴から決定に関連する情報を選択的に圧縮する、嗜好条件付きマルチモーダル記憶圧縮器である。

従来の具現化推論タスクは、手続き的計画や即時の目標達成に焦点を当てていたが、本ベンチマークは、長期的な視野にわたってマルチモーダルかつ複数の情報源からの入力を統合し、複雑な推論を必要とする点で新しい。また、既存のVLM駆動エージェントの診断から、記憶管理がボトルネックであることを特定し、その改善手法を提案している点が先行研究と比べて優れている。

MeMentoは、ユーザーの好みを条件として、固定数のメモリトークンを用いて、長期的な履歴から決定に関連する情報を選択的に圧縮する。具体的には、マルチモーダルな履歴を入力とし、嗜好情報を考慮して重要度を重み付けし、圧縮された表現を生成する。これにより、生のマルチモーダル履歴に含まれるノイズを低減し、決定品質を向上させる。

DunphyBenchを用いて、最先端のVLM駆動エージェントと人間の性能を比較し、大きなギャップがあることを示した。さらに、MeMentoをVLM駆動エージェントに組み込むことで、精度が7.18%向上し、記憶使用量が最強のベースラインと比較して85.38%削減されることを実験で確認した。

要旨からは、MeMentoの一般化可能性や、他のタスクや環境での有効性についての議論は不明である。また、記憶圧縮がどの程度の情報損失を引き起こすか、また、圧縮された記憶が人間の解釈可能性を保つかどうかについての議論も要旨には含まれていない。

要旨で参照されている関連研究は、VLM駆動エージェントや具現化意思決定の分野の研究である。具体的には、VLM（Vision-Language Model）を用いたエージェントの研究や、長期的な記憶管理に関する研究が挙げられる。次に読むべき論文としては、VLMエージェントの記憶機構に関する論文や、具現化推論のベンチマークに関する論文が考えられる。