何が起きたか

arXivは2026-10-10、論文「CFG-Policy: Unified Diffusion Policy Learning Framework via Classifier-free Guidance」を公開した。論文は、拡散方策で強みとされる多峰性の行動分布を活かしつつ、RLでの最適化が探索の多様性を損ない得るという課題に対し、探索と利用を二つの生成方策に分ける枠組みを提示している。オンラインRLとoffline-to-online RLの双方を対象にし、サンプリング時に両者のscoreまたはvelocity fieldを統合する設計である。

詳細

オンラインRLでは、探索側の分岐を固定して行動の多様性を保ち、利用側の分岐が報酬から学習する。offline-to-online RLでは、事前学習済みの利用側を固定し、訓練可能な分岐が合成された行動を誘導する。 著者らは、この枠組みがRLの目的関数を保ちながら、QSMとQVPOを用いた5つのMuJoCo課題、およびFlow-SDE+PPOを用いた4つのRoboTwin操作課題で性能を改善したとしている。

Key Facts

arXiv掲載日: 2026-10-10[1]
論文名は「CFG-Policy: Unified Diffusion Policy Learning Framework via Classifier-free Guidance」である[1]
探索と利用を二つの生成方策に分離し、サンプリング時にClassifier-free Guidanceで結合する枠組みである[1]
オンラインRLとoffline-to-online RLの双方を対象とする[1]
QSMとQVPOを用いた5つのMuJoCo課題、Flow-SDE+PPOを用いた4つのRoboTwin操作課題で性能改善を報告した[1]

本紙の見方

CFG-Policyの新しさは、拡散方策の学習を「探索」と「利用」に分解し、その後段のサンプリングでClassifier-free Guidanceとして再結合する点にある。単なる方策の再学習ではなく、探索側を固定して多様性を残す場合と、事前学習済みの利用側を固定して既存能力を残す場合を同じ枠組みで扱っており、オンラインRLとoffline-to-online RLの両方にまたがる設計として整理されている。これは、RLで性能を上げるほど行動の幅が狭まりやすいという、拡散方策に固有の課題を直接狙った構成だといえる。 本紙の観点では、この論文は拡散方策を「高性能な制御器」として使う際の学習手順そのものを再設計している点が重要である。MuJoCoの5課題とRoboTwinの4課題という二種類のベンチマークをまたぎ、QSM、QVPO、Flow-SDE+PPOという既存手法と組み合わせているため、単一タスク向けの工夫ではなく、方策更新の共通部品として差し込める可能性を示している。一方で、公開文面だけでは、どの条件で探索側と利用側の比重を変えるべきか、またガイダンス結合がどの程度計算負荷を増やすかは読めない。 業界構造としては、ロボット制御やvision-language-actionモデル、world-model-based agentsで拡散方策を使う場合に、性能向上と行動多様性の維持を両立させる実装論が一段具体化したとみられる。とくに、事前学習済み方策を壊さずに後段で報酬最適化をかけるoffline-to-onlineの流れは、学習済みモデルを再利用する開発パイプラインに近い。次に確認すべき論点は、結合時のガイダンス強度の調整方法、計算コスト、ほかのロボットタスクや実機環境で同じ挙動が再現するかどうかである。

なぜ重要か

論文は、拡散方策の探索多様性を保ちながらRLで性能を上げる設計を、オンラインRLとoffline-to-online RLの両方にまたがって示している。拡散方策を制御や操作に使う研究者にとっては、既存方策を壊しにくい学習手順として検討対象になり得る。

日本への影響

日本でロボット制御や操作タスクに拡散方策を使う研究開発では、事前学習済み方策を残したまま報酬最適化を重ねる設計が、既存資産の再利用という点で参考になり得る。特にMuJoCoとRoboTwinのようなシミュレーションベンチマークで示された枠組みが、国内のロボット操作研究にそのまま移るかが論点になる。