報酬改善場転送によるクロスドメインオフライン強化学習
RIFT: Reward Improvement Field Transfer for Cross-Domain Offline RL
低報酬から高報酬への遷移の差分構造を最適輸送で学習し、それをターゲットデータに適用して拡張するクロスドメインオフラインRL手法を提案した論文。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jinhee Won, Mardavij Roozbehani, Munther Dahleh
分類: cs.LG
原文アブストラクト
Learning from limited target data is a central challenge in cross-domain offline reinforcement learning. Abundant source data can help, but dynamics differences can make direct transition reuse unreliable. We propose Reward Improvement Field Transfer (RIFT), which instead learns how low- and high-reward source transitions differ. RIFT encodes source and target transitions in a shared latent space, pairs low- and high-reward source transitions using optimal transport, and fits an affine field to their displacements. It applies this field to low-reward target anchors and decodes the results to augment the target dataset. The approach builds on the hypothesis that related domains can share useful low-to-high reward structure despite different dynamics. We bound synthesis error under shared class geometry, identify conditions favoring target anchoring over source-high transplant, and derive a conditional connection to downstream return. Experiments on dense-reward locomotion tasks under gravity, morphology, and friction shifts show improved aggregate performance over existing baselines.
関連論文
- 未来表現を予測して意思決定するDT-JEPAオフラインRL
- 学習された時間的抽象化による確率的環境でのスケーラブルな意思決定オフラインRL
- 同変オフライン強化学習オフラインRL
- ベイズ再パラメータ化による報酬条件付き強化学習のエネルギー基盤モデルオフラインRL
- エージェント制御表現:豊富な外生情報を用いた原理的なオフライン強化学習オフラインRL
- ロボットのための事前学習:オフラインRLで少数試行から新タスクを学習オフラインRL
