報酬学習2026/8/26arXiv:2608.25350v1

ペアワイズを超えて：選好に基づく報酬学習のためのリストワイズ視覚言語監督

Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning

視覚言語モデル（VLM）による画像ベースの選好を、ペアワイズではなくリストワイズのランキングとして扱い、Plackett-Luceモデルを用いて報酬関数を学習する新しいフレームワークを提案。Meta-World操作タスクで有効性を実証した。

詳しい要約

1. どんなもの？

本論文は、Vision-Language Model (VLM) が生成する画像ベースの選好を用いて報酬学習を行う新しいフレームワークを提案している。従来のペアワイズ選好（Bradley-Terry model）に代わり、Plackett-Luce (PL) model を用いてリストワイズなランキングから報酬モデルを学習する。これにより、VLM が複数の候補をランキングする能力を活用し、より柔軟で効果的な報酬学習を実現する。Meta-World 操作タスクで評価し、PL 報酬モデルがペアワイズ法や既存のベースラインと同等以上の性能を示すことを確認した。

2. 先行研究と比べてどこがすごい？

先行研究では、VLM による選好を Bradley-Terry (BT) model でペアワイズに扱うことが一般的であり、一度に2つの観測のみを利用していた。しかし、VLM は複数の候補をランキングできる能力を持つにもかかわらず、その能力を活用していなかった。本論文は、Plackett-Luce (PL) model を導入し、リストワイズなランキングを直接報酬学習に利用する初めてのフレームワークを提案している点が新しい。これにより、ランキングサイズ K を柔軟に選択でき、環境やフィードバック形式に適応できる。

3. 技術・手法の肝は？

手法の核は、VLM が生成した複数の画像（軌道の最終状態など）をランキングし、そのリストワイズな選好を Plackett-Luce (PL) model でモデル化して報酬関数を学習することである。PL model は、与えられた候補集合の中での各項目の相対的な順位を確率的に表現し、報酬関数のパラメータを最適化する。これにより、ペアワイズ法では利用できなかった K>2 のランキング情報を活用できる。また、ランキングサイズ K を変えることで、フィードバックの形式を調整できる。

4. どうやって有効だと検証した？

Meta-World の複数の操作タスク（例: Drawer Open）で評価した。VLM によるランキングから PL 報酬モデルを学習し、その報酬を用いて強化学習エージェントを訓練した。比較対象として、ペアワイズ Bradley-Terry、K-wise Bradley-Terry、RL-VLM-F ベースラインを用いた。結果、すべての環境で少なくとも1つの PL ランキングサイズ（K=3,4,5）が平均成功率で他の手法と同等かそれ以上であることを示した。最良の PL 構成では平均最終成功率86%を達成し、Drawer Open では Oracle ベースラインに匹敵した。

5. 議論はある？

議論として、PL モデルはランキングサイズ K を変えることで環境やフィードバック形式に適応できる柔軟性を持つが、K の選択が性能に影響するため、タスクごとに適切な K を選ぶ必要がある。また、VLM によるランキングの品質が報酬学習の性能に大きく影響する可能性があるが、本論文ではその品質の評価は詳細には行われていない。さらに、PL モデルはペアワイズ法に比べて計算コストが増加する可能性があるが、要旨からは具体的なコスト比較は不明である。

6. 次に読むべき論文は？

次に読むべき論文としては、要旨で比較されている RL-VLM-F ベースラインの論文、および Bradley-Terry model を用いた preference-based reward learning の基礎論文（例えば、Christiano et al. の Deep reinforcement learning from human preferences）が挙げられる。また、Plackett-Luce model の理論的背景に関する論文も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Srivalli Katkuri, Maxwell Kawada, Juan Wachs

分類: cs.LG, cs.RO

原文アブストラクト

Vision-language models (VLMs) have emerged as a powerful source of supervision for reinforcement learning, enabling agents to leverage rich semantic knowledge during training. Inspired by the success of preference-based reward learning (PbRL) in reinforcement learning from human feedback (RLHF), vision-language model generated image-based preferences provide an effective source for learning reward functions. This can be done by visually comparing two outcomes through the Bradley-Terry (BT) model. However, this pairwise formulation utilizes only two observations at a time, despite VLMs being capable of ranking multiple candidates. The Plackett-Luce (PL) formulation can shape a reward model with listwise rankings as opposed to pairwise preferences, allowing for a more suited use of a VLM based ranking. In this work, to our knowledge, we introduce the first framework that combines VLM-generated preferences with the Plackett-Luce model for reward learning. We evaluate our approach on Meta-World manipulation tasks and show that Plackett-Luce (PL) reward models can train robotic policies from VLM-generated rankings as effectively as pairwise Bradley-Terry, $K$-wise Bradley-Terry, and RL-VLM-F baselines. Across all environments, at least one PL ranking size ($K \in \{3,4,5\}$) consistently performs with or outperforms other methods in mean success rate. Unlike pairwise methods, which are restricted to $K=2$, PL supports different ranking sizes and can therefore be adapted to the environment and desired feedback format. Our best PL configuration achieves an 86% mean final success rate and matches the Oracle baseline on Drawer Open. Overall, these results demonstrate that listwise VLM preference supervision is a competitive and flexible approach to reward learning for reinforcement learning.

arXivで原文を読む →arXiv概要ページ

← 論文一覧