日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マニピュレーションarXiv:2610.35494

タスク分解によるロボット動作計画の深層強化学習の強化

Enhancing Deep Reinforcement Learning for Robotic Motion Planning via Task Decomposition

シェア:XThreadsFacebookLINEはてブBluesky

障害物環境でのDRL学習を効率化するため、第一層criticパラメータのみを転送する転移学習と段階的報酬再設計を組み合わせたタスク分解フレームワークを提案し、PyBullet Pandaで成功率向上と収束時間短縮を実現した。

詳しい要約

1. どんなもの？

- シミュレーション上でのロボットマニピュレーション政策学習を対象に、障害物を含むタスクでのDRLの性能・収束の遅さを改善する枠組みを提案 - Task Decomposition frameworkとして、Transfer Learning (TL) と Reward Redesign (RR) を統合 - PyBullet Panda platformで評価し、実機Franka Emika FR3への定性展開も実施

2. 先行研究と比べてどこがすごい？

- 障害物環境でのDRLは性能不足・収束遅延が課題であり、これをTLとRRの統合で改善 - Push with obstacleで0.83±0.05、最強baselineのTruncated Quantile Critics (TQC) 0.77±0.06を約7.8%上回る - Slide with obstacleで0.95±0.02、Soft Actor-Critic (SAC) 0.84±0.06を約11%上回る成功率 - 障害物タスクでforward transferにより収束時間を最大70%短縮 - RRによりsparse-reward Pick-and-Placeの学習を約0.75Mから0.20M stepsへ短縮(約73%削減)

3. 技術・手法の肝は？

- TLは構造的に関連するタスク間でcriticの第一層パラメータのみを選択的に転送 - 第一層は一般的なstate-action表現を捉え、深い層は報酬・障害物固有のvalue geometryを符号化するという前提に基づく - RRはタスクを段階的なsub-objectivesに分解し、より密な最適化信号を提供 - TLとRRを組み合わせたtask decomposition frameworkとしてDRLに統合

4. どうやって有効だと検証した？

- PyBullet Panda platform上で障害物設定を含む実験を実施 - Push with obstacle、Slide with obstacle、sparse-reward Pick-and-Placeで性能・収束時間を比較 - 最良政策を実機Franka Emika FR3 robotに展開し、定性的な実現可能性デモを実施 - 実機での定量評価の詳細は要旨からは不明

5. 議論はある？

- 障害物環境での性能向上と収束短縮が報告されているが、制限や失敗ケースの議論は要旨からは不明 - 実機展開は定性的 feasibility demonstration にとどまり、定量評価は要旨からは不明 - critic第一層のみ転送する設計の一般性・他タスクへの拡張性の議論は要旨からは不明

6. 次に読むべき論文は？

- Truncated Quantile Critics (TQC) - Soft Actor-Critic (SAC) - Transfer Learning (TL) を用いたDRL政策学習の関連研究 - Reward Redesign (RR) / reward shaping の関連研究 - PyBullet Panda platform を用いたロボットマニピュレーションのbenchmark研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuanzhi He, Victor Romero-Cano, Jiayu Xu, Juan David Hernández, Gualtiero Colombo

分類: cs.RO

原文アブストラクト

Training robotic manipulation policies in simulation is widely adopted due to safety and cost efficiency; however, tasks involving obstacles remain under-performing and often converge slowly under Deep Reinforcement Learning (DRL). To address this challenge, we propose a task decomposition framework for DRL that integrates Transfer Learning (TL) with Reward Redesign (RR) to improve learning efficiency and robustness in obstacle environments. The TL strategy selectively transfers only the first-layer critic parameters across structurally related tasks, since that layer captures general state--action representations while deeper layers encode reward- and obstacle-specific value geometry; RR decomposes tasks into staged sub-objectives to provide denser optimization signals. Experiments on the PyBullet Panda platform show consistent gains in obstacle settings. On Push with obstacle, our method achieves $0.83 \pm 0.05$, outperforming the strongest baseline (Truncated Quantile Critics (TQC), $0.77 \pm 0.06$) by approximately $7.8\%$. On Slide with obstacle, performance reaches $0.95 \pm 0.02$, exceeding Soft Actor-Critic (SAC) ($0.84 \pm 0.06$) by about $11\%$ success rates. In addition to higher final performance, forward transfer reduces convergence time by up to $70\%$ in obstacle tasks, and RR shortens sparse-reward Pick-and-Place training from roughly $0.75$M to $0.20$M steps ($\approx73\%$ reduction). The best policy is deployed on a real Franka Emika FR3 robot as a qualitative feasibility demonstration.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI