D2AC、拡散ポリシー強化学習の新アルゴリズムを発表 18の難易度タスクでSOTA

何が起きたか

研究者らは2025年10月3日、拡散ポリシーをオンラインで効率的に訓練する新しいモデルフリー強化学習アルゴリズム「D2AC」を発表した。同アルゴリズムは、Humanoid、Dog、Shadow Handを含む18のハードRLタスクで最先端の性能を達成したとしている。

詳細

D2ACは、拡散ポリシーをオンラインで訓練するための新しいモデルフリー強化学習アルゴリズム。中心となるのは、典型的なポリシー勾配の高分散と時間方向の逆伝播の複雑さを回避するポリシー改善目的関数と、分布型RLとクリップ付きダブルQ学習を融合した頑健な分布型クリティック。評価は、密報酬と目標条件付きRLの両方を含む18のハードタスク（Humanoid、Dog、Shadow Handなど）で実施され、さらに生物学的に動機づけられた捕食者-被捕食者タスクで行動の頑健性と汎化能力を検証した。コードはGitHubで公開されている。

Key Facts

本紙の見方

今回のD2ACは、拡散ポリシーをオンライン強化学習で訓練する際の安定性と効率性という長年の課題に、分布型クリティックという新たな設計で挑むものだ。拡散モデルは画像生成で成功を収めたが、RLでの利用はオフライン設定が中心で、オンラインでの訓練はポリシー勾配の高分散や時間方向の逆伝播の複雑さから困難とされてきた。D2ACはこれらの問題を回避する目的関数と、分布型RLとクリップ付きダブルQ学習を融合したクリティックを導入し、18のハードタスクでSOTAを達成したと主張する。これは、拡散ポリシーの実用化に向けた一歩と位置づけられる。 本紙の過去報道との接続を考えると、[本紙の関連記事]として挙げられた過去報道は存在しないが、一般に公開されている情報として、近年のロボット学習分野では拡散ポリシーが注目を集めている。例えば、2023年に発表された拡散ポリシーは、模倣学習において高精度な動作生成を実現し、ロボット操作タスクで大きな成果を上げた。しかし、オンラインRLへの適用は、サンプル効率や安定性の面で課題が残っていた。D2ACはこの課題に取り組むものであり、拡散ポリシーのRLへの適用範囲を広げる可能性がある。また、分布型RLは、価値分布を学習することで不確実性を扱う手法として知られており、D2ACはこれをクリップ付きダブルQ学習と組み合わせることで、より頑健なクリティックを実現している。これは、従来のQ学習の過大評価問題への対処としても注目される。 業界構造への含意としては、D2ACのようなアルゴリズムの進展は、ロボット制御や自動運転など、実世界での意思決定を必要とする分野に影響を与える可能性がある。特に、HumanoidやDogなどの複雑な身体を持つロボットの制御は、強化学習の難易度が高く、D2ACがこれらのタスクでSOTAを達成したことは、実用化への期待を高める。一方で、D2ACの性能はシミュレーション環境での評価に基づいており、実機での検証はまだ行われていない。また、計算コストやサンプル効率の面で、実用化にはさらなる改善が必要とみられる。 未確定の論点としては、まず、D2ACが実ロボットに適用された際の性能が確認されていない点が挙げられる。シミュレーションと実環境のギャップは強化学習において常に課題であり、D2ACの頑健性が実環境でも発揮されるかは未知数だ。次に、D2ACの計算コストと訓練時間が実用的な範囲にあるかどうかが焦点になる。拡散モデルは生成に多くの計算資源を要するため、オンラインRLでの利用には効率性が求められる。最後に、D2ACの性能が特定のタスクに依存していないか、より多様なタスクでの検証が必要とみられる。特に、捕食者-被捕食者タスクでの評価は興味深いが、その結果の詳細は公開情報では確認できない。今後、これらの点が明らかになることで、D2ACの実用性がより明確になるだろう。

なぜ重要か

D2ACは、拡散ポリシーをオンライン強化学習で訓練する際の安定性と効率性を向上させる可能性があり、ロボット制御や自動運転など実世界の意思決定タスクへの応用が期待される。ただし、実環境での検証や計算コストの面で課題が残るため、今後の研究の進展が注目される。