日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2609.29000

混合品質の実環境経験からロボットマニピュレーションを学習する予測的行動チャンク学習

Learning from Mixed-Quality Deployment Experience for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

実環境で蓄積された成功・失敗・部分進捗が混在するロボットの経験を、チャンク単位の予測的クリティックと拡散方策で活用し、追加の人間修正なしに方策を改善する手法PACLを提案。

詳しい要約

1. どんなもの？

- 実環境に配備されたロボット方策が自然に蓄積する成功・部分進捗・失敗を含む mixed-quality experience を活用する学習手法。 - 追加の人間修正や探索的相互作用なしに、自律 rollout のみから学習する post-deployment 設定を扱う。 - Predictive Action Chunk Learning (PACL) を提案。chunk-level critic と diffusion actor を組み合わせる。

2. 先行研究と比べてどこがすごい？

- 直接 imitation learning に mixed-quality を入れると望ましくない行動を強化しうる。 - offline reinforcement learning は sparse rewards と限られた data coverage 下で価値推定が不安定。 - PACL は全行動を等価な監督とせず、chunk-level Q-values を品質条件に変換して学習する点が異なる。 - シミュレーションと実世界で pretrained policy を一貫して改善し、強い imitation learning と offline reinforcement learning ベースラインを上回る。

3. 技術・手法の肝は？

- 予測的 chunk-level critic を学習し、時間的に拡張された行動系列を評価。 - temporal difference learning に future latent prediction を追加し、長horizon価値推定の監督を豊かにする。 - 学習した critic が chunk-level Q-values を離散的な quality conditions に変換。 - diffusion actor がこれらの条件に導かれ、mixed-quality experience から合同で学習。 - 推論時は actor が複数の action chunks を生成し、critic が最高価値の候補を選択。

4. どうやって有効だと検証した？

- シミュレーションおよび実世界の robot manipulation タスクで実験。 - PACL が pretrained policy を一貫して改善することを示す。 - 強い imitation learning および offline reinforcement learning ベースラインを上回る性能を確認。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- imitation learning - offline reinforcement learning - diffusion policy - temporal difference learning - action chunking

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yangang Ren, Yujie Yan, Zirui Li, Jiaming Guo, Di Zeng, Ji Tao, Lan Yu, Xuesong Tian, Chen Lv

分類: cs.LG

原文アブストラクト

Robot policies deployed in real environments naturally accumulate mixed-quality experience, including successful executions, partial progress, and failures. Although these rollouts provide valuable information for further learning, directly incorporating them into imitation learning may reinforce undesirable behaviors, while offline reinforcement learning often suffers from unreliable value estimation under sparse rewards and limited data coverage. We consider a practical post-deployment setting where learning relies only on naturally accumulated autonomous rollouts, without additional human corrections or exploratory interaction. To effectively exploit such experience, we propose Predictive Action Chunk Learning (PACL). PACL first learns a predictive chunk-level critic that evaluates temporally extended action sequences and augments temporal difference learning with future latent prediction, providing richer supervision for long-horizon value estimation. The learned critic then converts chunk-level Q-values into discrete quality conditions, which guide a diffusion actor to learn jointly from these mixed-quality experiences without treating all behaviors as equivalent supervision. At inference, the actor generates multiple action chunks and the critic selects the highest valued candidate. Experiments across simulated and real-world robot manipulation tasks show that PACL consistently improves the pretrained policy and outperforms strong imitation learning and offline reinforcement learning baselines.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI