操作/強化学習2026/8/10arXiv:2608.09138v2

SpeedTuning: 軽量強化学習によるポリシー実行の高速化

SpeedTuning: Speeding Up Policy Execution with Lightweight Reinforcement Learning

模倣学習で得たロボット操作ポリシーの実行速度を、追加データ収集なしで強化学習により最適化するフレームワークを提案し、成功率を保ちつつ2.4倍以上の高速化を実証した。

詳しい要約

1. どんなもの？

SpeedTuningは、学習済みのロボット操作ポリシーの実行速度を向上させるための強化学習フレームワークです。ベースとなるポリシー（模倣学習などで学習済み）のアクションに対して、最適な実行速度を予測することを学習し、追加のデータ収集なしでポリシーの実行を高速化します。動的で精密なタスク（注ぐ、投げる、拾うなど）において、成功率を維持しつつ2.4倍以上の速度向上を達成します。

2. 先行研究と比べてどこがすごい？

先行研究では、模倣学習ポリシーの実行速度はハードウェア制約やデータ収集時のオペレーターの速度に制限され、実行速度を加速する確立された方法がありませんでした。SpeedTuningは、強化学習を用いて速度を最適化する点で新規であり、固定速度での線形補間などの単純な加速方法と比較して、成功率を保ちながら大幅な速度向上を実現します。

3. 技術・手法の肝は？

手法の肝は、ベースポリシーのアクションに適用する実行速度を予測する強化学習エージェントを学習することです。このエージェントは、追加のデータ収集を必要とせず、ベースポリシーを補完します。具体的には、状態とアクションに基づいて速度を決定し、タスク成功率と速度のトレードオフを最適化します。

4. どうやって有効だと検証した？

有効性は、注ぐ、投げる、拾うなどの多様な動的かつ精密なタスクで評価されました。元のタスクポリシーと固定速度の線形補間などの単純な加速方法と比較して、成功率を適切に保ちながら2.4倍以上の速度向上を達成したことを実証しています。

5. 議論はある？

要旨からは、速度と成功率のトレードオフの詳細や、異なるタスクやポリシーに対する一般化の限界についての議論は不明です。また、強化学習の報酬設計や学習の安定性に関する詳細も要旨には含まれていません。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていませんが、模倣学習ポリシーの高速化に関連する研究や、強化学習によるロボット操作の速度最適化に関する論文が考えられます。具体的には、模倣学習（Behavior Cloning）や強化学習（Reinforcement Learning）の基礎論文、およびロボット操作における速度制御に関する研究が挙げられます。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: David D. Yuan, Tony Z. Zhao, Kaylee Burns, Chelsea Finn

分類: cs.RO, cs.AI

原文アブストラクト

While learned robotic policies hold promise for advancing generalizable manipulation, their practical deployment is often hindered by suboptimal execution speeds. Imitation learning policies are inherently limited by hardware constraints and the speed of the operator during data collection. In addition, there are no established methods for accelerating policies learned via imitation, and the empirical relationship between execution speed and task success remains underexplored. To address these issues, we introduce SpeedTuning, a reinforcement learning framework specifically designed to enhance the speed of manipulation policies. SpeedTuning learns to predict the optimal execution speed for actions, thereby complementing a base policy without necessitating additional data collection. We provide empirical evidence that SpeedTuning achieves substantial improvements in execution speed, exceeding 2.4x speed-up, while preserving an adequate success rate compared to both the original task policy and straightforward speed-up methods such as linear interpolation at a fixed speed. We evaluate our approach across a diverse set of dynamic and precise tasks, including pouring, throwing, and picking, demonstrating its effectiveness and robustness in enhancing real-world robotic manipulation. Videos and code are available at https://daivdyuan.github.io/speed-tuning/

arXivで原文を読む →arXiv概要ページ

← 論文一覧