何が起きたか
arXivに2025年3月18日付で掲載された論文(識別番号2503.13817v1)において、VARP(Reinforcement Learning from Vision-Language Model Feedback with Agent Regularized Preferences)と名付けられた手法が発表された。この手法は、連続制御ロボットの報酬関数設計における報酬ハッキングや不整合を軽減するため、視覚言語モデル(VLM)による自動選好ラベリングと、エージェントのポリシーに基づく報酬学習の正則化を組み合わせる。具体的には、最終観測画像に軌跡スケッチを重ね合わせることでVLMの選好精度を約15〜20%向上させ、さらにエージェントの性能を報酬学習に組み込むことで、移動タスクでのエピソード報酬を20〜30%改善するとしている。
詳細
従来の選好ベース強化学習(RL)は、手作業の報酬信号ではなく比較フィードバックから報酬を学習することで、報酬ハッキングの一部を回避できるが、人間によるアノテーションの拡張が課題となっていた。近年はVLMを用いた自動選好ラベリングが試みられているが、単一の最終状態画像ではエージェントの動作全体を捉えられないという限界があった。VARPはこの問題に対し、最終観測に軌跡スケッチを重ねて経路を可視化することで、VLMがより信頼性の高い選好を提供できるようにする。さらに、報酬学習をエージェントの現在のポリシーが生成したデータに基づいて最適化するよう、エージェントの性能を正則化項として組み込む。これにより、報酬モデルが現在のポリシーと整合する形で学習される。MetaWorldでの実証実験では、全タスクで約70〜80%の成功率を達成し、標準的な手法の50%未満を上回った。
Key Facts
| 論文はarXivに2025年3月18日付で掲載された(識別番号2503.13817v1)。 | [1] |
| 手法名はVARP(Reinforcement Learning from Vision-Language Model Feedback with Agent Regularized Preferences)。 | [1] |
| 軌跡スケッチを最終観測に重ねることで、VLMの選好精度がMetaWorldタスクで約15〜20%向上した。 | [1] |
| エージェントの性能を報酬学習に組み込む正則化により、移動タスクでのエピソード報酬が20〜30%改善した。 | [1] |
| MetaWorldでの実験で、全タスクで約70〜80%の成功率を達成した。 | [1] |
| 標準的な手法の成功率は50%未満だった。 | [1] |
| VARPは、よりリッチな視覚表現とエージェント認識型の報酬正則化を組み合わせることで有効性を示した。 | [1] |
なぜ重要か
この研究は、連続制御ロボットの報酬設計における報酬ハッキング問題に対し、VLMとエージェント正則化を組み合わせた実用的な解決策を提示している。自動選好ラベリングの精度向上と報酬学習の安定化により、複雑なタスクでの強化学習の性能向上が期待される。