成功軌道を保持しながら学習済み制御器を逐次改善する手法

学習済みcontrollerの逐次的な回復能力更新手法。既存skillのパラメータを凍結したまま、新たなentry rule(観測を読み状態を振り分ける規則)を追加することで、過去に成功したtrajectoryを保持しつつ新たなfailureへの回復を獲得する。複数のfrozen skillをルーティングするcontrollerを対象とする。

パラメータ凍結だけでは、新entry ruleが旧skillの成功状態を奪い得る点を指摘。パラメータではなくentryを制約する点が特徴。accumulated successful trajectory上の全状態を拒否するentry ruleを要求し、composed controllerが新回復を再現し保護trajectoryを厳密にreplayする場合のみskillをadmitする。

計測されたfailure地点でfeedback skillを探索し、観測を読むentry ruleをfitする。entry ruleは累積成功trajectory上の全状態をrejectするよう制約。admissionはcomposed controllerが新recoveryを自律再現し、保護trajectoryを厳密replayすることを条件とする。有限trajectory条件で前controllerの保持を述べる。

2体のhumanoid system各2 motionの計4 streamで1 mechanismを実行。各stream 2回の更新で、192のwithheld perturbationに対し62のrecoveryを追加し、base controllerの成功を1つも失わないことを確認。さらに制約除去のコストを評価。

保証のコストを価格付け。制約を外すと33条件多く回復するが保護8条件が完了不能に。admissionが必要と証明するもののみ除外してもそのコストは回復せず。制約の厳しさと回復量のtrade-offが議論点。

要旨からは不明(参照・比較研究の明示なし)。関連としてはfrozen skillsのrouting、feedback skill学習、safe/constrained policy update、catastrophic forgetting対策の定番手法が候補。