拡散ポリシーのRL最適化を安定化するDIPOLE、自動運転VLAモデルで検証

何が起きたか

arXivに掲載された論文(2025年12月31日付)で、拡散ポリシーのRL最適化を安定化する新アルゴリズムDIPOLEが提案された。DIPOLEは報酬最大化と最小化の二つのポリシーに分解し、推論時に線形結合することで貪欲さを制御する。オフラインおよびオフライン→オンライン設定のExORLとOGBenchで評価し、さらに大規模VLAモデルを自動運転タスクで訓練し、NAVSIMベンチマークで検証した。

詳細

DIPOLEは、KL正則化付きRL目的を再検討し、貪欲化されたポリシー正則化スキームを定式化する。これにより、最適ポリシーを報酬最大化と報酬最小化の二つの安定に学習されるポリシーに分解できる。推論時には、二つのポリシーのスコアを線形結合することで、貪欲さのレベルを柔軟に制御できる。既存手法は価値目的の直接最大化による不安定な訓練や、粗いガウス尤度近似による計算問題を抱えていたが、DIPOLEはこれらを回避する。評価はオフラインおよびオフライン→オンラインRL設定でExORLとOGBenchを用いて行われ、さらに大規模VLAモデルを自動運転タスクで訓練し、NAVSIMで評価した。

Key Facts

本紙の見方

本論文の位置づけは、拡散ポリシーのRL最適化における安定性と計算効率の課題に取り組む点にある。既存手法は価値目的の直接最大化による不安定さや、ガウス尤度近似に依存する計算問題があったが、DIPOLEは二つのポリシーへの分解と線形結合という新たな枠組みでこれらを解決しようとする。これは、拡散モデルの表現力と制御可能性を活かしつつ、RL訓練を実用的にする試みとして注目される。 業界構造への含意としては、ロボティクスや自動運転など、実世界の意思決定タスクへの応用が期待される。特に、大規模VLAモデルを自動運転に適用した点は、拡散ポリシーが複雑な実世界タスクで有効である可能性を示唆する。ただし、NAVSIMはシミュレーション環境であり、実車での検証はまだ行われていない。 未確定の論点としては、DIPOLEの実世界での性能、特にNAVSIMでの具体的な数値結果や、他のベンチマークでの汎用性が挙げられる。また、二つのポリシーの線形結合の重みの調整が、タスクごとにどのように最適化されるかも今後の課題である。

なぜ重要か

拡散ポリシーは表現力が高い一方で、RLによる訓練が不安定で実用化が難しかった。DIPOLEはその安定化を図る新手法であり、ロボット制御や自動運転など実世界の意思決定タスクへの応用を前進させる可能性がある。特に、大規模VLAモデルとの組み合わせは、今後の自動運転技術の発展に影響を与えるとみられる。