日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフラインRLarXiv:2611.19681

報酬改善場転送によるクロスドメインオフライン強化学習

RIFT: Reward Improvement Field Transfer for Cross-Domain Offline RL

シェア:XThreadsFacebookLINEはてブBluesky

低報酬から高報酬への遷移の差分構造を最適輸送で学習し、それをターゲットデータに適用して拡張するクロスドメインオフラインRL手法を提案した論文。

詳しい要約

1. どんなもの?

- クロスドメインの offline RL における手法。 - 目標ドメインのデータが限られる状況を扱う。 - 豊富な source data を活用するが、dynamics の違いにより遷移の直接再利用は不安定。 - そこで低報酬遷移と高報酬遷移の『差分構造』を source から学び target に移す RIFT を提案。 - 学習した field を target の低報酬 anchor に適用し、target dataset を拡張する。

2. 先行研究と比べてどこがすごい?

- 従来のクロスドメイン offline RL は source 遷移の直接再利用に依存し、dynamics 差で信頼性が落ちる。 - RIFT は遷移そのものではなく『低報酬から高報酬への変化構造』を転移する点が異なる。 - 関連ドメインは dynamics が違っても low-to-high reward 構造を共有しうるという仮説に基づく。 - source-high transplant より target anchoring が有利な条件を特定する点も特徴。 - 具体的な既存手法名との比較は要旨からは不明。

3. 技術・手法の肝は?

- source と target の遷移を shared latent space に encode。 - optimal transport を用いて source の低報酬遷移と高報酬遷移を pair 化。 - その変位に対して affine field を fit。 - 得られた field を target の低報酬 anchor に適用し、decode して target dataset を augment。 - shared class geometry の下で synthesis error を bound。 - target anchoring が source-high transplant より有利な条件を導出。 - downstream return との条件付き接続を示す。

4. どうやって有効だと検証した?

- dense-reward locomotion タスクで検証。 - gravity、morphology、friction の shift を設定。 - 既存 baselines に対し aggregate performance の改善を報告。 - 個別タスクごとの詳細や ablation の有無は要旨からは不明。

5. 議論はある?

- 関連ドメインが low-to-high reward 構造を共有するという仮説の妥当性が前提。 - shared class geometry の仮定下での synthesis error bound であり、仮定が崩れる場合の挙動は要旨からは不明。 - target anchoring と source-high transplant の優劣条件を提示。 - downstream return との接続は条件的であり、一般的保証ではない。 - 限界や失敗事例の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で明示的に参照される個別論文はなし。 - 関連手法として cross-domain offline RL、offline RL with data augmentation、optimal transport を用いた domain adaptation、reward shaping / reward structure transfer の代表的文献を次に読む候補とする。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jinhee Won, Mardavij Roozbehani, Munther Dahleh

分類: cs.LG

原文アブストラクト

Learning from limited target data is a central challenge in cross-domain offline reinforcement learning. Abundant source data can help, but dynamics differences can make direct transition reuse unreliable. We propose Reward Improvement Field Transfer (RIFT), which instead learns how low- and high-reward source transitions differ. RIFT encodes source and target transitions in a shared latent space, pairs low- and high-reward source transitions using optimal transport, and fits an affine field to their displacements. It applies this field to low-reward target anchors and decodes the results to augment the target dataset. The approach builds on the hypothesis that related domains can share useful low-to-high reward structure despite different dynamics. We bound synthesis error under shared class geometry, identify conditions favoring target anchoring over source-high transplant, and derive a conditional connection to downstream return. Experiments on dense-reward locomotion tasks under gravity, morphology, and friction shifts show improved aggregate performance over existing baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI