ResMerge：事前学習済みロボット方策の継続適応のための残差方策学習とマージ

- 事前学習済みロボット方策の継続適応のための二段階フレームワーク ResMerge を提案する研究。 - 凍結した pre-trained policy の上に、学習可能な residual policy を重ねる構成。 - 第1段階: residual reinforcement learning (RL) により、適応時に追加の expert demonstrations なしでタスク固有の補正を獲得。 - 第2段階: parameter-space merging により、互換性のある residual を統合し保存パラメータを削減。 - 互換性評価指標 Residual-Field Consistency (RFC) を導入。 - LIBERO と実機 Franka robot で評価。

- 従来の Parameter-Efficient Continual Fine-Tuning (PECFT) はタスクごとに adapter を分離するが、タスクごとの demonstrations が必要で、タスク数に応じてパラメータが増加する。 - ResMerge は適応時に追加の expert demonstrations を必要とせず、residual RL で補正を学習する点が異なる。 - parameter-space merging により互換 residual を統合し、保存パラメータの増加を抑える。 - 実験では strong PECFT baselines を上回る継続学習性能を示し、選択的 merging が residual パラメータのフットプリントを削減。

- 凍結した pre-trained policy を土台に residual policy を学習する二段階構成。 - 第1段階は residual reinforcement learning (RL) で、タスク固有の補正を expert demonstrations なしに獲得。 - 第2段階は parameter-space merging で、互換性のある residual を統合。 - 互換性判定に Residual-Field Consistency (RFC) を用いる。RFC は residual action-field space において補正の方向と大きさを比較する、単純で有界かつ解釈可能な指標。 - 選択的 merging により residual パラメータの保存量を削減。

- LIBERO ベンチマークで 2 種類の backbones を用いて評価。 - 実世界の Franka robot でも実験。 - strong PECFT baselines と比較し、継続学習性能の向上を報告。 - selective merging による residual-parameter footprint の削減も示す。 - 具体的な指標値や被験者数など詳細は要旨からは不明。

- RFC は単純・有界・解釈可能な互換性指標として提案されているが、その限界や失敗条件の詳細は要旨からは不明。 - parameter-space merging がどの程度のタスク数・多様性まで有効かは要旨からは不明。 - residual RL が expert demonstrations なしで適応できる範囲や、報酬設計への依存性は要旨からは不明。 - 実機 Franka での評価規模や安全性面の議論は要旨からは不明。

- PECFT の代表的手法（adapter-per-task 型の parameter-efficient continual fine-tuning） - residual policy learning / residual reinforcement learning の関連研究 - parameter-space merging（model merging）関連手法 - LIBERO ベンチマークを用いた継続学習・転移学習の研究 - 事前学習済みロボット方策の継続適応に関するサーベイ