拡散ポリシーをオン方策RLに適用するTruDi、73タスクで評価

何が起きたか

arXivに2026年6月13日付で掲載された論文が、拡散ポリシーを大規模並列オン方策RLで訓練する手法TruDiを提案した。TruDiは信頼領域最適化でKLダイバージェンス制約を課し、4つのベンチマーク計73タスクで評価され、標準タスクで既存手法を上回るか同等、難易度の高いヒューマノイド制御タスクで明確な改善を示した。

詳細

論文は、拡散モデルをポリシー表現として用いる強化学習手法TruDiを提案している。従来の拡散ベースRLはオフラインやオフ方策が中心だったが、TruDiはオン方策かつ大規模並列シミュレーション環境に焦点を当てる。信頼領域最適化により、拡散軌跡全体にわたるKL制約を課すことで、データ分布が急速に変化するオン方策設定での安定訓練を実現する。評価は4つのベンチマーク、計73タスクで行われ、標準タスクでは既存の強力なベースラインと同等以上、ヒューマノイド制御などの難易度の高いタスクでは明確な性能向上が確認された。

Key Facts

本紙の見方

本論文は、強化学習におけるポリシー表現の拡張という点で、近年の生成モデル活用の流れに位置づけられる。拡散モデルは画像生成で成功を収めたが、RLへの応用はオフラインやオフ方策が中心であり、オン方策での大規模並列学習は難易度が高いとされてきた。TruDiは信頼領域法を拡散軌跡全体に適用することで、この課題を克服しようとするもので、既存のガウス分布ベースのポリシーに代わる表現として拡散モデルを実用的なものにする試みと言える。 本紙の過去報道との関連では、[本紙の関連記事]に挙がっている過去報道が存在しないため、直接の接続はできない。しかし、強化学習分野では、近年、モデルの表現力と学習効率の両立が焦点となっており、本手法はその一環とみられる。特に、ロボット制御やシミュレーション環境での応用が期待されるが、実機への適用にはシミュレーションと実環境のギャップ（Sim-to-Real）が課題となる。 業界構造への含意としては、拡散ポリシーがオン方策RLで実用的になれば、ロボット制御や自動運転など、連続制御が求められる分野でのポリシー表現の選択肢が広がる。従来のガウス分布ベースの手法に比べ、複雑な行動分布を表現できるため、より高度なタスクへの適用が可能になるとみられる。一方で、拡散モデルの推論コストは高く、実時間制御への応用には計算資源の制約が残る。 今後確認すべき点は、第一に、TruDiの実機ロボットへの適用事例が示されるかどうかである。第二に、拡散モデルの推論速度を向上させるための手法（蒸留や高速サンプリング）との組み合わせが有効かどうか。第三に、オン方策RLでの拡散ポリシーの理論的な収束保証や、ハイパーパラメータの感度がどの程度か、という点である。これらの検証が進めば、拡散ポリシーがRLの標準的な選択肢となる可能性がある。

なぜ重要か

本手法は、拡散モデルをオン方策RLで実用的に使えるようにする点で、ロボット制御やシミュレーション分野でのポリシー表現の選択肢を広げる。特に、複雑な行動を必要とするタスクでの性能向上が期待され、今後の実応用に向けた基盤となる。