Realistic Actor-Critic、サンプル効率10倍を達成 過小評価と過大評価のバランスを学習

何が起きたか

arxiv.orgに掲載された論文(2021年10月19日付)で、Realistic Actor-Critic(RAC)というモデルフリー強化学習アルゴリズムが提案された。RACはUniversal Value Function Approximators(UVFA)を用いて過小評価と過大評価の異なるトレードオフを持つ方策群を同時学習し、サンプル効率を向上させる。MuJoCoベンチマークのHumanoid環境で、SACと比較して10倍のサンプル効率と25%の性能向上を達成したと報告されている。

詳細

RACは任意のオフポリシー強化学習アルゴリズムに組み込むことができる。UVFAを用いて同一のニューラルネットワークで方策群を学習し、各方策は過小評価と過大評価のトレードオフが異なる。この方策群を学習するために、複数の批評家のアンサンブルから得られる不確実性を用いてQ関数の信頼区間を構築するuncertainty punished Q-learningを導入している。評価はMuJoCoベンチマークで行われ、最も困難なHumanoid環境でSACと比較して10倍のサンプル効率と25%の性能向上を達成したとされる。

Key Facts

本紙の見方

本論文は、深層強化学習におけるサンプル効率の課題に取り組むものである。モデルフリーの連続制御領域では、SACやTD3などのアルゴリズムが標準的だが、実世界への応用にはサンプル効率の低さが障壁となっている。RACは、過小評価と過大評価のバランスを動的に調整する点に新規性がある。従来の手法では、Q関数の過小評価を避けるためにクリッピングやアンサンブルを用いるが、RACはUVFAを用いて複数のトレードオフを同時に学習し、タスクに応じて最適な方策を選択できるようにしている。これは、ハイパーパラメータ調整の負担を軽減し、サンプル効率を向上させる可能性がある。 本紙の過去報道との関連では、[本紙の関連記事]に挙げられた過去報道は存在しないが、強化学習のサンプル効率改善に関する研究は継続的に行われており、本論文はその流れを汲むものと位置づけられる。例えば、2021年にはモデルベース強化学習やオフライン強化学習の研究が盛んに行われており、RACはモデルフリーの枠組みでサンプル効率を改善する点で独自のアプローチを取っている。 業界構造への含意としては、ロボット制御や自動運転などの実世界応用において、サンプル効率の向上はシミュレーションから実機への転移を容易にする。RACが実用化されれば、強化学習の適用範囲が広がる可能性がある。しかし、RACの性能はMuJoCoベンチマークでの評価に限られており、実世界の複雑な環境での有効性は未確認である。また、UVFAの導入による計算コストの増加や、方策群の学習の安定性なども課題となる。 今後確認すべき点として、第一に、RACが他のオフポリシーアルゴリズム(例えばTD3)と組み合わせた場合の性能がどうなるか、第二に、実ロボットや実環境でのサンプル効率がシミュレーションと同様に向上するか、第三に、方策群の学習におけるハイパーパラメータ感度や計算コストが実用に耐えうるか、が挙げられる。これらの検証が進めば、RACは強化学習の実用化に貢献する可能性がある。

なぜ重要か

サンプル効率の向上は、強化学習を実世界のロボットや自動運転に適用する際の重要な課題である。RACは過小評価と過大評価のバランスを学習することで、従来手法よりも少ないデータで高性能な方策を獲得できる可能性を示しており、今後の実用化に向けた研究の方向性に影響を与えるとみられる。