日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
オフラインRLarXiv:2610.32657

未来表現を予測して意思決定するDT-JEPA

DT-JEPA: Learning to Predict Future Representations for Decision-Making

シェア:XThreadsFacebookLINEはてブBluesky

報酬なしのオフライン軌跡から潜在空間で未来表現の確率分布を予測するJEPAベースの事前学習・微調整フレームワークを提案し、未見タスクへの適応を実現した論文。

詳しい要約

1. どんなもの？

- Decision Transformer (DT) 系の offline RL における新フレームワーク DT-JEPA の提案 - offline pretraining と online fine-tuning の二段階構成 - reward-free な offline trajectory から一般的知識を学習 - 未知タスクへの適応を狙う - 将来の状態遷移を原空間で再構成せず、latent space 上で将来表現を予測する世界モデル - Joint Embedding Predictive Architectures (JEPA) に着想 - 将来表現の条件付き分布を確率的にモデル化する predictor を導入 - D4RL benchmarks で評価

2. 先行研究と比べてどこがすごい？

- 従来の Decision Transformer (DT) は expected future returns を条件とするが、これは将来の不完全な記述 - 異なる state transition や behavior でも類似 return を取り得る - task-specific reward function に依存し、reward-labeled dataset が必須 - 類似だが未見の reward を持つタスクへの scalability を制限 - DT-JEPA は reward-free な offline trajectory から学習し、reward ラベル依存を回避 - JEPA 系の自己教師あり世界モデルを offline RL の pretraining に応用 - 単一の決定論的 future embedding ではなく、確率的 predictor で将来表現の条件付き分布をモデル化 - 予測情報と将来ダイナミクスの不確実性の両方を捉える

3. 技術・手法の肝は？

- offline pretraining + online fine-tuning の枠組み - JEPA に倣い、latent space で将来表現を予測する世界モデルを学習 - 原空間での将来状態再構成は行わない - 新規の probabilistic predictor を設計 - 将来表現の条件付き分布をモデル化 - 決定論的な単一 embedding 予測ではなく分布を扱う - 理論的解析 - JEPA 目的が historical representation と future trajectory 間の mutual information の variational lower bound 最大化に対応することを示す - predictive future-conditioned policy learning が O(N^{-1/4}) の estimation term を持つ finite-sample performance bound を満たすことを示す

4. どうやって有効だと検証した？

- D4RL benchmarks 上で実験 - 種々の offline RL タスクにおいて効率的な適応を確認 - 従来の DT-based 手法および他の offline RL 手法を上回る性能を報告 - 詳細な実験設定・比較手法・指標は要旨からは不明

5. 議論はある？

- 理論面 - JEPA 目的と mutual information の variational lower bound の関係を提示 - future-conditioned policy learning の finite-sample performance bound (O(N^{-1/4})) を提示 - 実証面 - D4RL での優位性を報告 - 限界・課題・失敗事例・計算コスト・online fine-tuning の詳細は要旨からは不明

6. 次に読むべき論文は？

- Decision Transformer (DT) - Joint Embedding Predictive Architectures (JEPA) - D4RL benchmarks を用いた offline RL 研究 - 要旨で参照/比較されている個別の offline RL 手法名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changxu Ni, Yiyang Ni, Jun Li, Feiran You, Hongyang Du, Haitao Zhao, Shi Jin

分類: cs.LG

原文アブストラクト

Decision Transformer (DT) has demonstrated strong performance in various offline reinforcement learning (RL) tasks by conditioning action generation on expected future returns and historical trajectories. However, treating expected future returns as the condition provides an incomplete description of the future, as trajectories with different state transitions and behaviors may share similar returns. Moreover, expected future returns inherently depend on task-specific reward functions, which makes policy learning reliant on reward-labeled datasets and restricts its scalability to tasks with similar but unseen rewards. Recently, Joint Embedding Predictive Architectures (JEPA) have emerged as a promising paradigm of self-supervised learning-based world models, which learn predictive representations of future dynamics in latent space rather than reconstructing future states in the original space. Inspired by JEPA, we propose DT-JEPA, an offline pretraining and online fine-tuning framework that learns general knowledge from reward-free offline trajectories and achieves excellent adaptation to unseen tasks. Instead of predicting a single deterministic future embedding, we design a novel probabilistic predictor to model the conditional distribution of future representations in the latent space, thereby capturing both predictive information and uncertainty about future dynamics. Theoretically, we show that 1) the JEPA objective seeks to maximize a variational lower bound on the mutual information between historical representations and future trajectories; and 2) predictive future-conditioned policy learning admits a finite-sample performance bound with an O(N-1/4) estimation term. Experiments on D4RL benchmarks demonstrate that DT-JEPA achieves efficient adaptation across varying offline RL tasks, outperforming traditional DT-based and other offline RL methods.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI