何が起きたか
2023年9月20日に公開された論文「Text2Reward: Reward Shaping with Language Models for Reinforcement Learning」で、大規模言語モデル（LLM）を活用して報酬関数の生成と整形を自動化するフレームワークText2Rewardが発表された。同フレームワークは、自然言語で記述された目標から、環境のコンパクトな表現に基づいて実行可能なプログラムとして密な報酬関数を生成する。評価では、ロボット操作ベンチマークのManiSkill2とMetaWorld、およびMuJoCoの2つの移動環境を使用し、17の操作タスクのうち13タスクで、専門家が作成した報酬コードと同等以上のタスク成功率と収束速度を達成した。移動タスクでは、6つの新規な移動行動を94%を超える成功率で学習した。
詳細
報酬関数の設計は強化学習における長年の課題であり、専門知識やドメインデータを必要とするため開発コストが高い。Text2Rewardは、逆強化学習や、LLMを用いてスパースな報酬コードやタイムステップ間で一定の非整形な密報酬を書く最近の研究とは異なり、解釈可能で自由形式の密報酬コードを生成する。これにより、幅広いタスクをカバーし、既存のパッケージを利用でき、人間のフィードバックによる反復的な改良が可能となる。 さらに、シミュレータで訓練されたポリシーは実世界に展開可能であることが示された。また、人間のフィードバックを用いて報酬関数を改良することで、ポリシーの性能をさらに向上させることができる。ビデオ結果は https://text-to-reward.github.io/ で公開されている。
Key Facts
| Text2Rewardは、大規模言語モデル（LLM）を用いて報酬関数の生成と整形を自動化するデータフリーフレームワークである。 | [1] |
| Text2Rewardは、自然言語で記述された目標から、環境のコンパクトな表現に基づいて実行可能なプログラムとして密な報酬関数を生成する。 | [1] |
| 評価には、ロボット操作ベンチマークのManiSkill2とMetaWorld、およびMuJoCoの2つの移動環境を使用した。 | [1] |
| 17の操作タスクのうち13タスクで、専門家が作成した報酬コードと同等以上のタスク成功率と収束速度を達成した。 | [1] |
| 移動タスクでは、6つの新規な移動行動を94%を超える成功率で学習した。 | [1] |
| シミュレータで訓練されたポリシーは実世界に展開可能であることが示された。 | [1] |
| 人間のフィードバックを用いて報酬関数を改良することで、ポリシーの性能をさらに向上できる。 | [1] |
| ビデオ結果は https://text-to-reward.github.io/ で公開されている。 | [1] |
なぜ重要か
報酬関数の設計は強化学習の実用化における大きな障壁であり、Text2RewardはこれをLLMで自動化することで開発コストを削減する可能性を示す。特に、専門家でなくても自然言語で目標を記述するだけで高品質な報酬関数を生成できる点は、ロボット学習の民主化につながる。また、実世界展開の可能性も示されており、シミュレーションから実機への転移が期待される。