マニピュレーション2026/10/15arXiv:2610.22323

Mem4Act: 長期的ロボット操作のための効果的な潜在記憶の学習

Mem4Act: Learning Effective Latent Memory for Long-Horizon Robotic Manipulation

過去の観測を固定サイズの潜在記憶に圧縮し、長期タスクに必要な情報を保持して操作方策を導くフレームワークを提案。複数のベンチマークと実機タスクで最高性能を達成。

詳しい要約

1. どんなもの？

- 長期的なロボット操作のための潜在メモリを学習するフレームワーク Mem4Act を提案。 - 固定サイズのメモリ表現を明示的に最適化し、過去の観測からタスク関連情報を保持して将来の行動を導く。 - 生の履歴、圧縮視覚トークン、言語要約の代わりに、境界のあるインタフェースを提供。

2. 先行研究と比べてどこがすごい？

- 既存手法は生の履歴や圧縮視覚トークン、言語要約を保持し、履歴が長大化するかタスク関連情報を失うリスクがあった。 - Mem4Act は固定サイズの潜在メモリで長履歴を効率的にカバーし、意味情報と知覚情報を補完的に保持。 - メモリを行動ポリシーが実際に利用するよう訓練する点が新しい。

3. 技術・手法の肝は？

- 多粒度時間集約で履歴を組織化。 - 質問応答監督とキーフレーム DINO 特徴再構成で意味・知覚情報を保持。 - メモリ優先の二段階訓練で行動ポリシーによるメモリ利用を促進。 - 高レベルタスク状態と細粒度知覚証拠を捉える固定サイズメモリを実現。

4. どうやって有効だと検証した？

- RoboMME、RMBench、4つの実世界操作タスクで評価。 - メモリ依存制御で最先端性能を達成し、成功率はそれぞれ 49.88%、61.0%、81.5%。 - アブレーションで時間集約、補完的メモリ監督、メモリ優先訓練の重要性を確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- RoboMME、RMBench に関連する研究。 - DINO 特徴再構成を用いる手法。 - 長期ホライズンロボット操作のメモリ研究（一般名）。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yun Zhang, Zhiyu Huang, Tianhui Cai, Chen Tang, Wei Wang, Jiaqi Ma

分類: cs.RO

原文アブストラクト

Long-horizon robotic manipulation fundamentally requires memory: agents must retain task-relevant information from past observations and interactions and use it to guide future actions. Existing approaches typically preserve raw historical observations, compressed visual tokens, or language summaries, but these representations either expose the action policy to increasingly long histories or risk discarding task-relevant temporal, semantic, and perceptual information. We introduce Mem4Act, a framework for learning effective latent memory as a fixed-size representation explicitly optimized for long-horizon robotic control. Mem4Act addresses three coupled challenges: how to efficiently cover long histories, what information memory should retain, and how to ensure the policy actually relies on memory. To this end, it organizes history via multi-granularity temporal aggregation, preserves complementary semantic and perceptual information through question-answering supervision and key-frame DINO feature reconstruction, and employs memory-first two-stage training to encourage greater use of memory by the action policy. The resulting memory captures both high-level task state and fine-grained perceptual evidence while providing a bounded interface to the action policy. Across RoboMME, RMBench, and four real-world manipulation tasks, Mem4Act achieves state-of-the-art performance on memory-dependent control, with success rates of 49.88%, 61.0%, and 81.5%, respectively. Extensive ablations further demonstrate the importance of temporal aggregation, complementary memory supervision, and memory-first training.

arXivで原文を読む →arXiv概要ページ

Mem4Act: 長期的ロボット操作のための効果的な潜在記憶の学習

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文