人間のフィードバックで意味的に多様なスキル発見を実現するSRSDを提案

何が起きたか

arxiv.orgに掲載された論文(2026年4月27日付)で、人間のフィードバックを活用した教師なしスキル発見の新手法SRSDが提案された。SRSDは、人間の認知能力を活用して意味的に意味のある行動を特定・ラベル付けする「semantic labelling」を導入し、報酬関数を学習してスキルの意味的多様性と関連性を高める。実験では、2Dナビゲーション環境と4つの移動環境で有効性を示した。

詳細

論文は、強化学習における教師なしスキル発見の課題として、制約のないアプローチが安全でない、倫理的でない、または不適切な行動を生み出す可能性を指摘する。従来の選好ベースのアプローチはフィードバック効率が悪く、走る・跳ぶ・歩くなど多様なスキルからなるスキル空間を扱うのに不向きとされる。SRSDは、人間のフィードバックから意味ラベルを収集し、報酬関数を学習することで、スキルを意味的に多様かつ関連性の高いものに導く。実験では、意味的多様性の向上と関連行動の発見を確認し、多様な行動へのスケーリングも示した。

Key Facts

なぜ重要か

この研究は、強化学習エージェントが人間の意図に沿った多様なスキルを自律的に獲得するための新たな枠組みを示す。安全性と効率性の両立は、ロボットや自動運転など実応用への道を開く可能性がある。