何が起きたか
Appleは2024年4月12日、arXivにプレプリント「Hindsight PRIORs for Reward Learning from Human Preferences」を公開した。この研究は、Preference based Reinforcement Learning (PbRL)における信用割当て問題に対処するため、Hindsight PRIORと呼ばれる戦略を導入する。同手法は世界モデルを用いて軌道内の状態重要度を近似し、補助的な予測リターン再分配目的を通じて報酬が状態重要度に比例するよう導く。実験では、MetaWorldで平均20%、DMCで平均15%の報酬回復改善を統計的に有意（p<0.05）に達成した。コードはGitHubで公開されている。
詳細
PbRLは、報酬関数を手動で設計する代わりに、ポリシーの振る舞いに対する選好フィードバックから報酬を学習する手法である。しかし、既存のPbRLアプローチは、どの部分が選好に最も寄与したかを決定する信用割当て問題に対処しておらず、データ集約的で報酬関数が劣るという課題があった。Hindsight PRIORは、この問題を解決するために、世界モデルを利用して状態重要度を推定し、報酬を状態重要度に比例させる。これにより、ポリシー学習の速度、全体的なポリシー性能、報酬回復が向上する。研究チームは、単純な信用割当て戦略でも報酬学習に大きな利益をもたらすこと、前方ダイナミクス予測における状態重要度が選好決定への寄与の強力な代理指標であることを示した。
Key Facts
| Appleは2024年4月12日にarXivで「Hindsight PRIORs for Reward Learning from Human Preferences」を公開した。 | [1] |
| Hindsight PRIORは、世界モデルを用いて軌道内の状態重要度を近似する信用割当て戦略である。 | [1] |
| Hindsight PRIORは、補助的な予測リターン再分配目的を通じて報酬を状態重要度に比例させる。 | [1] |
| Hindsight PRIORは、MetaWorldで平均20%の報酬回復改善を達成した（p<0.05）。 | [1] |
| Hindsight PRIORは、DMCで平均15%の報酬回復改善を達成した（p<0.05）。 | [1] |
| Hindsight PRIORは、移動タスクと操作タスクの両方でポリシー学習の速度、性能、報酬回復を向上させた。 | [1] |
| コードはhttps://github.com/apple/ml-rlhf-hindsight-priorで公開されている。 | [1] |
なぜ重要か
この研究は、報酬学習における信用割当て問題への対処が、PbRLの効率と性能を大幅に改善できることを示す。状態重要度を報酬学習に組み込むというシンプルな戦略が、ロコモーションや操作タスクでの報酬回復を向上させることは、ロボット学習や強化学習の実用化に寄与する可能性がある。