日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
選好ベース強化学習arXiv:2610.31812

PrefO2O: オフライン・オンライン間の潜在選好転移によるゼロショット選好ベース強化学習

PrefO2O: Zero-Shot Preference-Based Reinforcement Learning via Offline-to-Online Latent Preference Transfer

シェア:XThreadsFacebookLINEはてブBluesky

少数のオフライン選好データからタスク不変な潜在選好空間を学習し、人間フィードバックなしで新規タスクに選好構造と報酬事前分布を転移する枠組みを提案した論文。

詳しい要約

1. どんなもの？

- PrefO2Oは、未見のtarget taskに対して人間のfeedbackなしでzero-shotにPreference-based reinforcement learning (PbRL)を行うためのoffline-to-online latent preference transferフレームワーク。 - 少数のsource task上のoffline preference dataからtask-invariantなlatent preference spaceを学習し、そのmanifoldを介して新タスクへpreference構造とreward priorを転送する。 - 対象はrobotic manipulationおよびlocomotion benchmarks。

2. 先行研究と比べてどこがすごい？

- 従来のPbRLは新タスクごとに高コストなhuman preference labelsの収集を必要とし、scalabilityが根本的に制限されていた。 - PrefO2Oはtarget taskでhuman feedbackを一切要求せずzero-shot PbRLを実現する点が新しい。 - 実験では既存のpreference-transfer baselinesを大幅に上回り、real human feedbackで訓練したPbRL手法に匹敵または超過。 - multi-to-oneおよびone-to-one transfer設定、異なるrobot embodimentsへの汎化も示す。

3. 技術・手法の肝は？

- 少数のoffline preference data（source tasks）からtask-invariantなlatent preference spaceを学習し、転送可能なpreference構造をtask-specific variationからdisentangleする。 - 学習したmanifoldにより、distribution shift下でもpreference構造とreward priorを新タスクへ転送。 - confidence-weighted optimal transport alignmentを用いて信頼できるpseudo-preference supervisionを生成し、online reward adaptationを行う。 - offline-to-onlineの枠組みで、target taskではhuman feedbackなしにrewardを適応。

4. どうやって有効だと検証した？

- robotic manipulationおよびlocomotion benchmarksでextensive experimentsを実施。 - 既存のpreference-transfer baselinesとの比較で大幅な性能向上を確認。 - real human feedbackで訓練したPbRL手法と同等以上であることを示す。 - multi-to-oneおよびone-to-one transfer設定、異なるrobot embodimentsへのgeneralizationを検証。

5. 議論はある？

- 要旨からは不明（限界や失敗ケース、計算コスト、source task選択の感度などに関する議論は要旨に記載なし）。 - 示されている範囲では、distribution shift下での転送とpseudo-preferenceの信頼性確保が設計上の焦点。

6. 次に読むべき論文は？

- 要旨で明示的に参照・比較されている個別論文はなし。 - 関連手法として、Preference-based reinforcement learning (PbRL)、offline-to-online reinforcement learning、optimal transport、latent space transfer、reward learningに関する代表的文献を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruiqi Wang, Dezhong Zhao, Xuesu Xiao, Erdem Biyik, Byung-Cheol Min, Guohua Chen

分類: cs.RO, cs.AI

原文アブストラクト

Preference-based reinforcement learning (PbRL) has emerged as a promising paradigm for learning robot behaviors aligned with human intent. However, its scalability is fundamentally limited by the need to collect expensive human preference labels for every new task. In this work, we present PrefO2O, an offline-to-online latent preference transfer framework that enables zero-shot PbRL on unseen target tasks without requiring any human feedback. The core idea is to learn a task-invariant latent preference space from a small amount of offline preference data on source tasks, where transferable preference structures are disentangled from task-specific variations. This learned manifold allows PrefO2O to transfer preference structures and reward priors to new tasks under distribution shift, while confidence-weighted optimal transport alignment generates reliable pseudo-preference supervision for online reward adaptation. Extensive experiments on robotic manipulation and locomotion benchmarks demonstrate that PrefO2O substantially outperforms existing preference-transfer baselines and matches or exceeds PbRL methods trained with real human feedback, while generalizing across multi-to-one and one-to-one transfer settings as well as across different robot embodiments.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI