VLA2026/9/10arXiv:2609.11270

ノイズ操作を超えて：生成ロボットポリシーのためのデュアル潜在空間強化学習

Beyond Noise Steering: Dual-Latent Space Reinforcement Learning for Generative Robot Policy

生成ロボットポリシーの強化学習において、初期ノイズだけでなく中間行動表現も制御する二重潜在空間フレームワークを提案し、オンライン適応を高速化した。

詳しい要約

1. どんなもの？

- 生成的なロボット政策（generative robot policy）の強化学習（RL）手法。 - 従来はノイズ空間のみを操作していたが、生成過程の中間表現も制御する。 - Dual-Latent Space Reinforcement Learning (DLSRL) を提案。 - アクターネットワークが2つの潜在変数を予測：初期ノイズ潜在変数と行動表現潜在変数。 - 表現潜在変数をアダプタ特徴にマッピングし、残差接続で中間行動トークンの隠れ状態に注入。 - ベース政策を更新せずに行動表現を直接調整可能。

2. 先行研究と比べてどこがすごい？

- 既存のRL手法はノイズ空間のみを操作し、生成中の中間行動表現を変調できない。 - その結果、性能劣化や非効率が生じていた。 - DLSRLは初期ノイズ操作に加え、凍結生成器内部での表現レベル制御を補完。 - 二重制御設計により、ベース政策を更新せずに行動表現を直接調整できる点が新しい。 - 生成政策アーキテクチャとロボット操作タスクで、オンライン適応を加速し競争力のある性能を達成。

3. 技術・手法の肝は？

- アクターネットワークが2つの潜在変数を予測： - 初期ノイズ潜在変数：行動生成を誘導。 - 行動表現潜在変数：中間特徴変調用。 - 表現潜在変数をアダプタ特徴にマッピング。 - 残差接続を介して中間行動トークンの隠れ状態に注入。 - 凍結生成器内部で表現レベル制御を実現。 - ベース政策を更新せずに二重制御を可能にする。

4. どうやって有効だと検証した？

- 生成政策アーキテクチャとロボット操作タスクにわたる実験を実施。 - DLSRLがオンラインロボット政策適応を効果的に加速し、競争力のある性能を達成することを示した。 - コードは https://github.com/xianchaoxiu/DLSRL で公開。

5. 議論はある？

- 要旨からは不明。 - 限界や議論の詳細には触れられていない。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、generative robot policy、reinforcement learning、noise steering、adapter features、residual connections などが挙げられる。 - 同分野の定番として、Diffusion Policy、Decision Transformer、Behavior Cloning などが考えられるが、要旨に直接の言及はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pengfei Zhang, Teng Sun, Xianchao Xiu

分類: cs.RO

原文アブストラクト

Pretrained generative robot policies learn expressive action priors from demonstrations. However, existing reinforcement learning methods only steer the noisy space but fail to modulate intermediate action representations during the generation process, resulting in performance degradation and inefficiency. To address this limitation, we propose a novel Dual-Latent Space Reinforcement Learning (DLSRL) framework, which complements initial-noise steering with representation-level control inside the frozen generator. Specifically, our actor network predicts two distinct latent variables: an initial-noise latent variable that steers behavior generation, and an action-representation latent variable for intermediate feature modulation. Moreover, this representation latent variable is mapped to adapter features and ingeniously injected into the hidden states of intermediate action tokens via residual connections. Our dual-control design enables direct adjustment of action representations without updating the base policy. Experiments across generative policy architectures and robotic manipulation tasks show that DLSRL effectively accelerates online robot policy adaptation and achieves competitive performance. Our code is available at \href{https://github.com/xianchaoxiu/DLSRL}{https://github.com/xianchaoxiu/DLSRL}.

arXivで原文を読む →arXiv概要ページ