アクタークリティック強化学習の事前学習手法、歩行タスクでサンプル効率36.2%向上

何が起きたか

2025年10月14日にarXivで公開された論文「Pretraining in Actor-Critic Reinforcement Learning for Locomotion」は、ロボット歩行の強化学習における事前学習パラダイムを定義した。提案手法は、タスク非依存の探索ベースのデータ収集アルゴリズムで多様な遷移データを集め、それを教師あり学習でProprioceptive Inverse Dynamics Model (PIDM)を訓練する。その後、事前学習済みの重みをアクターとクリティックの両ネットワークに読み込み、PPOなどのアクタークリティックアルゴリズムのポリシー最適化をウォームスタートする。9つの異なるロボット歩行RL環境（3つの異なるロボット実体を含む）で検証し、ランダム初期化と比較してサンプル効率を平均36.2%、タスク性能を4.3%向上させた。

詳細

本研究は、近年のAI研究で多くの変革的進歩を促進してきた事前学習-ファインチューニングパラダイムを、ロボット歩行の強化学習に適用することを目指している。従来、個々のスキルはゼロから学習されることが多く、同じロボット実体に属するタスク固有のポリシー間で共有可能な一般化可能な知識が存在する可能性が高いにもかかわらず、その知識を活用していなかった。 提案手法は、まずタスク非依存の探索ベースのデータ収集アルゴリズムを用いて多様で動的な遷移データを収集し、それを教師あり学習でPIDMを訓練する。PIDMは proprioceptive（自己受容感覚）情報に基づく逆動力学モデルであり、事前学習された重みはアクターとクリティックの両方にロードされ、実際のタスクのポリシー最適化をウォームスタートする。 著者らは、9つの異なるロボット歩行RL環境（3つの異なるロボット実体を含む）で系統的に検証し、この初期化戦略が有意な利点をもたらすことを示した。さらに、この手法の有効性のメカニズムを解明するための主要なアブレーション研究と実証分析も提示している。

Key Facts

なぜ重要か

この研究は、ロボット歩行の強化学習において、個々のスキルをゼロから学習する従来のアプローチに代わり、同じロボット実体で共有可能な知識を事前学習するパラダイムを提案する点で重要である。サンプル効率とタスク性能の向上は、実世界でのロボット学習の効率化に寄与する可能性がある。