何が起きたか
arXivに2026年3月4日付で投稿された論文「Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning」は、事前学習済みのVLAモデルが継続学習において忘却に強いことを報告した。研究では、小規模な行動クローニングモデルと比較し、VLAモデルが単純なExperience Replay（ER）で忘却をほぼ回避できることを示した。
詳細
論文は、ロボット政策学習における継続学習の課題に焦点を当て、事前学習済みのVLAモデルが小規模なBCモデルと比較して忘却に強いことを実験で示した。具体的には、単純なERがVLAで非常に有効であり、小さなリプレイデータサイズでも忘却ゼロを達成する場合があると報告している。また、事前学習が継続学習の性能に重要な役割を果たし、大きな事前学習モデルは小さなリプレイバッファで忘却を軽減しつつ、前方への学習能力を維持することを分析で明らかにした。さらに、VLAは新しいタスク学習中の性能低下にもかかわらず、以前のタスクの関連知識を保持しており、ファインチューニングによって一見忘れたスキルを迅速に回復できることを発見した。コードと追加情報はプロジェクトページで公開されている。
Key Facts
| 事前学習済みVLAモデルは、小規模なBCモデルと比較して継続学習における忘却に顕著に強いことが示された。 | [1] |
| 単純なExperience Replay（ER）がVLAで驚くほど有効で、小さなリプレイデータサイズでも忘却ゼロを達成する場合がある。 | [1] |
| 事前学習が継続学習の性能に重要な役割を果たし、大きな事前学習モデルは小さなリプレイバッファで忘却を軽減しつつ前方学習能力を維持する。 | [1] |
| VLAは新しいタスク学習中の性能低下にもかかわらず、以前のタスクの関連知識を保持しており、ファインチューニングで迅速に回復できる。 | [1] |
| 大規模事前学習は継続学習のダイナミクスを根本的に変え、単純なリプレイで新しいスキルを継続的に獲得できる可能性が示唆された。 | [1] |
なぜ重要か
この研究は、ロボット政策学習における継続学習の実用性を大きく前進させる可能性がある。大規模事前学習が忘却問題を緩和するならば、ロボットは新しいスキルを効率的に獲得し続けることができ、産業用ロボットや家庭用ロボットの適応性が向上する。また、モデルの事前学習と継続学習の設計指針に影響を与え、ロボットAIの開発競争に新たな焦点をもたらす。