連続学習2026/8/27arXiv:2608.26545v1

連続ロボット学習のためのメモリアンカー

Memory Anchors for Continual Robot Learning

ロボットが新しいタスクを学習しても過去のタスクを忘れないようにするため、リプレイバッファ内の重要経験（メモリアンカー）を特定し、それを活用することで破滅的忘却を大幅に軽減する手法を提案した。

詳しい要約

1. どんなもの？

本論文は、ロボットポリシーが新しいタスクを継続的に学習する際に、過去のタスク知識を忘れる破壊的忘却（catastrophic forgetting）を防ぐための手法を提案する。従来のreplay bufferを用いたアプローチでは、過去の経験からランダムにサンプリングするが、本研究は、過去の性能を維持する上で特に重要な役割を果たす少数の経験を「Memory Anchors」と定義し、それらを特定・活用する方法を示す。Memory Anchorsは、新しいタスクの観測表現が古いタスクの観測表現と衝突する領域（同じ物体を新しい方法で操作する場合など）に存在し、この領域の古いデータをリハーサルすることで、過去のタスク知識の破壊的な上書きを防ぐ。

2. 先行研究と比べてどこがすごい？

従来のreplay bufferを用いた継続学習では、過去の経験をランダムにサンプリングするのが一般的であり、どの経験が重要かは考慮されていなかった。本研究は、すべての過去の経験が同等に重要ではなく、特に表現が衝突する領域の経験が過去の性能を維持する上で決定的な役割を果たすことを示し、そのような経験を「Memory Anchors」として特定する点が新しい。さらに、Memory Anchorsを除外すると忘却が大幅に増加し、逆にMemory Anchorsを追加すると忘却が減少することを実証し、replay bufferのサンプリング戦略の重要性を強調している。

3. 技術・手法の肝は？

手法の核は、Memory Anchorsを特定することにある。具体的には、新しいタスクの観測表現が古いタスクの観測表現に折りたたまれる（collapse）領域を特定し、その領域に存在する古いタスクの経験をMemory Anchorsとする。この領域では、タスクが異なる行動を要求するにもかかわらず、表現が類似しているため、古いデータをリハーサルすることで、新しいタスクの学習による古いタスクの表現の破壊を防ぐことができる。提案手法は、このMemory Anchorsをreplay bufferに優先的に含めることで、継続学習の性能を向上させる。

4. どうやって有効だと検証した？

有効性は、LIBEROベンチマークスイートと実ロボットを用いた実験で検証された。LIBEROベンチマークでは、replay bufferをサンプリングする前にMemory Anchorsの10%を除外すると、破壊的忘却が4.5倍以上増加した。逆に、replay bufferにMemory Anchorsを追加すると、高衝突タスクの忘却が63%減少し、実ロボット上で2つのタスクシーケンスの継続学習に成功した。

5. 議論はある？

議論としては、Memory Anchorsの特定方法が表現の折りたたみ領域に依存しており、その領域の定義や検出方法の詳細が要旨からは不明である。また、Memory Anchorsがどの程度の割合で存在するのか、タスクの種類や複雑さによってどのように変化するのかについても、要旨からは不明である。さらに、提案手法が他の継続学習手法（例えば、正則化ベースやモジュラーネットワークなど）とどのように比較されるかについての議論は要旨には含まれていない。

6. 次に読むべき論文は？

次に読むべき論文としては、継続学習における破壊的忘却を扱った古典的な研究（例えば、Elastic Weight Consolidation (EWC)）や、replay bufferを用いた手法（例えば、Experience Replay）が挙げられる。また、ロボット学習における継続学習のベンチマークとしてLIBEROを提案した論文も関連する。さらに、表現の折りたたみや衝突に着目した研究（例えば、representation collapseの分析）も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Maximilian Du, Zhanyi Sun, Chen Xu, Paarth Shah, Masha Itkina, Shuran Song

分類: cs.RO

原文アブストラクト

Robot policies deployed in the wild should have the capability to continually learn new tasks without forgetting existing behaviors. A common approach to combat such catastrophic forgetting is to train on new task data with a replay buffer of previously learned task data. Although this buffer is commonly sampled randomly from all prior experiences, we show that a small set of these experiences contributes greatly in anchoring past performance. We call these experiences Memory Anchors. We identify Memory Anchors in regions where representations of new-task observations collapse onto those of old-task observations even though the tasks require conflicting actions, like when a familiar object must be manipulated in a new way. Rehearsing old data in this region plays a key role in preventing destructive overwriting of past task knowledge, serving as this critical Memory Anchor role. Excluding only 10% Memory Anchors before sampling the buffer leads to more than a 4.5x increase in catastrophic forgetting on the LIBERO benchmark suites. Conversely, enriching the replay buffer with Memory Anchors can decrease high-conflict task forgetting by 63% and enables successful continual learning of two task sequences on a real robot. Videos and additional visualizations can be found at https://robot-adaptation.github.io/MemoryAnchors

arXivで原文を読む →arXiv概要ページ

← 論文一覧