AIアライメント2026/8/19arXiv:2608.18770

遠くへ行くには共に行け：多様な選好が報酬最適化のカリキュラムを生む

To Go Far, Go Together: Diverse Preferences Induce a Curriculum for Reward Optimization

人間のフィードバックから報酬モデルを学習し、ポリシーを最適化する際に、ユーザーごとの報酬モデルの最適化の難しさに着目し、多様なユーザー集団に対して自然にカリキュラムが生じることを利用して、木構造のカリキュラムを自動構築するCurriPOを提案した。

詳しい要約

1. どんなもの？

本論文は、AIシステムを個々のユーザーに合わせるための報酬モデル学習とポリシー最適化において、ユーザーごとの報酬モデルの最適化の難しさに着目し、多様なユーザー集団に対して効率的に報酬を最大化するカリキュラム学習手法CurriPOを提案する。従来の公平性研究がデータ効率と精度に焦点を当てていたのに対し、ポリシーレベルでの最適化が困難なユーザーが新たな未サービス層となることを指摘し、その問題を解決する。

2. 先行研究と比べてどこがすごい？

先行研究は、少数派の選好を捉えるためのデータ効率的で正確な報酬モデルの開発に焦点を当てていたが、本論文は、報酬モデルが正確でもポリシー最適化が困難なユーザーが取り残されるという新たな視点を導入した点が革新的である。さらに、多様なユーザー集団において、最適化の容易な報酬モデルから困難なものへと自然にカリキュラムが形成されるという洞察に基づき、初めてマルチユーザー構造を明示的に活用してAIアライメントの最適化問題に取り組んだ。

3. 技術・手法の肝は？

CurriPOは、ユーザー固有の目的を収容するためにツリー構造のカリキュラムを成長させる。具体的には、多様なユーザー報酬モデルに対してカリキュラムを自動構築し、既存のカリキュラムから分岐して、以前に組み込まれた報酬モデルを再利用する。これにより、単一のトラバーサルでユーザー集団全体をカバーする。

4. どうやって有効だと検証した？

シミュレーション環境でのパーソナライズされた連続制御タスクを用いて、広範な実験を実施した。その結果、CurriPOは最強のベースラインと比較して人口満足度を1.2〜2.1倍向上させ、トレーニング時間を大幅に削減した。さらに、追加分析により、改善の多くは従来の最適化では取り残されていたユーザーに起因することが示された。

5. 議論はある？

要旨からは、提案手法の限界や潜在的な欠点についての議論は不明である。ただし、実験結果から、従来の最適化で取り残されるユーザーへの効果が示されており、公平性の観点から重要な進展であると考えられる。また、カリキュラムの自動構築における計算コストや、ユーザー集団の多様性が不十分な場合の挙動などについては言及されていない。

6. 次に読むべき論文は？

要旨で参照されている先行研究は明示されていないが、関連する分野として、報酬モデリング、人間のフィードバックからの強化学習（RLHF）、公平性を考慮したAIアライメント、カリキュラム学習などが挙げられる。次に読むべき論文としては、これらの分野の代表的な研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taehyung Kim, Jongeun Choi

分類: cs.LG, cs.RO

原文アブストラクト

Learning a reward model from human feedback and optimizing a policy against it is one approach to aligning AI systems with individual users. From a fairness perspective, existing work improves such alignment by developing data-efficient and accurate reward models that capture minority preferences despite scarce data. We push this line of inquiry one step further and argue that data-efficient and accurate per-user reward models are not sufficient: users whose reward models are difficult to \textit{optimize} at the policy level can become a new underserved group. We start from the observation that one user's reward model can be easy to optimize from the initial policy while another's is not. We argue that, given a sufficiently diverse user population, a curriculum naturally emerges between easy- and hard-to-optimize reward models. Building on this insight, we propose CurriPO, which grows a tree-structured curriculum to accommodate diverse user-specific objectives, covering the population in a single traversal. Specifically, CurriPO automatically constructs a curriculum over diverse user reward models, allowing it to branch from the existing curriculum and reuse reward models previously incorporated into the curriculum. To the best of our knowledge, this is the first work to explicitly exploit multi-user structure to address optimization in AI alignment. Extensive experiments on personalized continuous control in a simulated environment show that CurriPO achieves $1.2$--$2.1\times$ the population satisfaction of the strongest baseline while substantially reducing training time. Additional analysis attributes much of this improvement to the users left underserved by conventional optimization.

arXivで原文を読む →arXiv概要ページ