賢く記憶する：ロボット記憶のための視覚履歴圧縮と双曲経験空間

Remember Smarter (RS) は、ロボットの長期タスク実行を支援するプラグアンドプレイのモジュールである。視覚履歴圧縮ブランチと双曲的経験メモリブランチを備え、Vision-Language-Action (VLA) モデルのコンテキストを拡張せずに、最近の観察と再利用可能な経験へのコンパクトなアクセスを提供する。視覚ブランチは、双方向空間Mambaと因果的時間Mambaを用いてマルチビューのパッチ履歴を圧縮し、残差クロスアテンションで行動関連の隠れ状態にメモリを公開する。経験ブランチは、成功した最終層のVLM状態をPoincare VAE空間に保存し、階層的に整理し、取得した経験を測地線プロンプトトークンに変換して行動推論をブロックせずに利用する。

従来のVLAモデルは、長期的なタスクにおいてコンテキストウィンドウの制約があり、過去の観察や経験を効率的に保持・利用できなかった。RSは、視覚履歴を圧縮し、経験を双曲空間に構造化して保存することで、コンテキストを拡張せずに長期メモリを実現する点が新しい。また、プラグアンドプレイで既存のVLAモデル（例：pi0）に統合でき、性能を大幅に向上させる。

手法の核は2つのブランチにある。視覚ブランチは、双方向空間Mambaと因果的時間Mambaを用いてマルチビューのパッチ履歴を圧縮し、残差クロスアテンションで行動関連の隠れ状態にメモリを公開する。経験ブランチは、成功した最終層のVLM状態をPoincare VAE空間に保存し、階層的に整理し、取得した経験を測地線プロンプトトークンに変換する。これにより、VLMの視覚トークンストリームを変更せずに、行動推論をブロックせずに経験を利用できる。

RSをpi0に適応させ、LIBERO-Plusベンチマークで総合成功率を53.6%から70.6%に向上させた。また、メモリ保持と経験利用を評価する実ロボット実験でも大幅な性能向上を達成した。

要旨からは、RSの限界や潜在的な欠点についての議論は不明である。ただし、プラグアンドプレイモジュールとして設計されているため、他のVLAモデルへの適用可能性や、双曲空間の表現がタスクに与える影響などが議論の余地がある。

要旨で参照されている研究は明示されていないが、関連手法として、VLAモデル（例：pi0）、Mambaアーキテクチャ、Poincare VAE、双曲空間表現、長期ロボットポリシーに関する研究が挙げられる。