ACCRUE: ロボット基盤モデルのための継続的オフポリシー強化学習

ACCRUEは、robot foundation models (RFMs) のためのcontinual off-policy reinforcement learning (RL) フレームワークである。 - 目的: 実世界展開で求められる、新タスクを効率的に学びつつ以前の行動を保持する能力の実現。 - 特徴: 軽量なactorとcriticネットワークをタスク間で引き継ぎ、各段階でprior RLのbehavioral/value knowledgeを再利用。 - 対象: contact-rich assembly sequencesのシミュレーションと実ロボットハードウェア。

既存のcontinual RL手法との比較で優位性を示す。 - VLAs上の既存continual RL: forgettingを緩和するがon-policy updatesに依存し、forward transferが限定的。 - off-policy手法: 単一タスクのsample efficiencyを改善するが、タスク間のlearner persistenceに対処していない。 - ACCRUE: off-policyでありながら、後続タスク学習を加速し、near-zero forgettingを達成。実ロボット訓練時間を31.0%〜68.5%削減。

技術の肝は、learnerの引き継ぎと忘却防止の仕組みにある。 - 軽量actor/criticをタスク間でcarry overし、prior RLのbehavioral/value knowledgeを再利用。 - 継承したcriticはcurrent-task transitionsのみで適応し、current-task actor learningを導く。 - prior behaviorは、少数のretained episodes上のcached targetsへactorをdistillingすることで保持。 - 固定visual featuresにより、継承learnerとreplayをbase-policy updatesと互換に保つ。

contact-rich assembly sequencesを用いて検証。 - シミュレーションと実ロボットハードウェアの両方で評価。 - 結果: 後続タスク学習の加速、near-zero forgetting、実ロボット訓練時間の31.0%〜68.5%削減を確認。

要旨からは不明。 - 限界や失敗事例、計算コスト、ハイパーパラメータ感度などについての議論は要旨に記載がない。

要旨で参照/比較されている研究や関連手法を挙げる。 - VLAs上の既存continual RL手法（on-policy updatesに依存するもの）。 - off-policy RL手法（単一タスクのsample efficiencyを改善するもの）。 - robot foundation models (RFMs) およびvisual-language-action models (VLAs) に関する研究。 - 具体的な論文名は要旨に明記されていないため、同分野の定番としてcontinual learningやoff-policy RLの文献を参照すべき。