VLMをゼロショット報酬モデルとして利用、強化学習のタスク指定を自然言語で実現

何が起きたか

研究チームは、強化学習における報酬関数の手動設計や大規模な人間のフィードバックを不要にする手法として、事前学習済みの視覚言語モデル(VLM)をゼロショット報酬モデルとして用いる「VLM-RMs」を提案した。CLIPをベースにしたVLM-RMsを用いて、MuJoCoのヒューマノイドに「kneeling」「doing the splits」「sitting in a lotus position」といった複雑なタスクを、単一の文のテキストプロンプトのみで学習させることに成功した。

詳細

研究チームは、強化学習の報酬関数を手動で設計するか、大量の人間のフィードバックから学習する従来手法に代わり、事前学習済みの視覚言語モデル(VLM)をゼロショット報酬モデルとして利用する手法「VLM-RMs」を提案した。具体的には、CLIPをベースにしたVLM-RMsを用いて、MuJoCoのヒューマノイドに「kneeling」「doing the splits」「sitting in a lotus position」といった複雑なタスクを学習させた。各タスクに対しては、目的を記述した単一の文のテキストプロンプトのみを提供し、プロンプトエンジニアリングは最小限に抑えた。さらに、ベースラインとなるプロンプトを追加し、CLIP埋め込み空間のうち目的とベースラインの区別に無関係な部分を射影することで、性能を向上できることを示した。また、VLM-RMsにはスケーリング効果があり、より大規模で多くの計算量とデータで学習されたVLMほど報酬モデルとして優れていることを発見した。

Key Facts

本紙の見方

今回の研究は、強化学習における報酬設計のボトルネックを、事前学習済みの視覚言語モデル(VLM)をゼロショットで報酬モデルとして利用することで解消しようとする試みである。従来の強化学習では、報酬関数を手動で設計するか、大量の人間のフィードバックから学習する必要があったが、VLM-RMsは自然言語のプロンプトだけでタスクを指定できるため、サンプル効率と汎用性の面で大きな前進と言える。特に、CLIPのような汎用のVLMをそのまま報酬モデルとして使う点が新しく、タスクごとに報酬モデルを学習する必要がない。 本紙の過去報道との接続はないが、この研究はロボット学習や具現化知能の分野で注目される。VLM-RMsは、シミュレーション環境でのヒューマノイドのタスク学習に成功しており、実ロボットへの応用が期待される。しかし、現状のVLMは空間推論や視覚的に非現実的な環境に弱いという限界があり、実環境での適用にはさらなる改善が必要だろう。 業界構造への含意としては、報酬設計の自動化が進めば、強化学習の適用範囲が広がり、ロボット制御や自動運転などの分野で開発コストが削減される可能性がある。また、VLMのスケーリング効果が確認されたことで、より大規模なVLMの開発が報酬モデルの性能向上に直結するため、基盤モデルの競争がさらに激化するかもしれない。 未確定の論点としては、VLM-RMsが実ロボットの複雑なタスクにどこまで適用できるか、また、プロンプトの設計が結果に与える影響の大きさが挙げられる。さらに、VLMの能力限界が改善された場合に、報酬モデルとしての性能がどの程度向上するかも今後の検証が必要だ。

なぜ重要か

この研究は、強化学習の報酬設計を自然言語で行うことを可能にし、ロボットや自動化システムの開発効率を大きく変える可能性がある。VLMの進化に伴い、報酬モデルとしての性能も向上するとみられ、基盤モデルの重要性がさらに高まるだろう。