制御可能性を考慮した教師なしスキル発見手法「CSD」を提案

何が起きたか

arXivに2023年2月10日付で掲載された論文(識別番号2302.05103v3)において、著者らは教師なしスキル発見の新手法「Controllability-aware Skill Discovery (CSD)」を発表した。CSDは、現在のスキルでは達成が難しい状態遷移に大きな値を割り当てる「制御可能性を考慮した距離関数」を導入し、距離最大化型のスキル発見と組み合わせることで、訓練中に徐々に困難なスキルを学習する。実験は6つのロボット操作・移動環境で行われ、物体操作や移動スキルを含む多様な複雑なスキルを教師なしで発見できたとしている。

詳細

従来の教師なしスキル発見手法は、外部からの監督なしに有用なスキルを発見する能力を持つが、複雑で挑戦的な行動を発見する動機付けが不足しているため、単純で学習しやすいスキルに限られる傾向があった。CSDはこの問題に対処するため、制御可能性を考慮した距離関数を導入し、現在のスキルでは達成が難しい状態遷移に大きな値を割り当てる。この距離関数は共同で訓練され、達成しやすいスキルに対する報酬を減らすことで、訓練の過程でより困難なスキルを段階的に学習する。 実験は6つのロボット操作・移動環境で実施され、CSDは物体操作や移動スキルを含む多様な複雑なスキルを教師なしで発見できることを示した。既存の教師なしスキル発見手法と比較して、大幅に優れた性能を達成したと報告されている。ビデオとコードはプロジェクトページ(https://seohong.me/projects/csd/)で公開されている。

Key Facts

なぜ重要か

この研究は、教師なし学習におけるスキル発見の限界を克服し、複雑な行動の自動獲得を可能にする点で重要である。ロボット工学や強化学習の分野において、外部監督なしで高度なスキルを学習する手法の進展に寄与する可能性がある。