強化学習向けワンステップ生成ポリシー「SOM」を提案 拡散・フローマッチングの推論コストを削減

何が起きたか

2026年5月22日、arxiv.orgにプレプリント「Score-Based One-step MeanFlow Policy Optimization」が公開された。論文は、拡散モデルやフローマッチングをポリシーとして用いる強化学習において、複数ステップのデノイジングによる推論コストが課題であると指摘し、単一ステップで生成可能な「SOM」を提案している。

詳細

提案手法SOMは、アクター・クリティック型アルゴリズムであり、Q関数からスコア推定と確率フローODEを用いてターゲット速度場を直接構築する。これにより、オンラインRLでは入手が困難なターゲット分布からのサンプルを必要とせず、確率質量を高価値のモードに集中させる。実験では、完全オンラインRL設定のロコモーションタスクにおいて、単一生成ステップで最先端の性能を達成し、従来の拡散・フローマッチングベースのポリシーと比較して訓練・推論時間を大幅に削減したとしている。

Key Facts

本紙の見方

本提案は、拡散モデルやフローマッチングをRLポリシーとして用いる際の実用上の大きな障壁である推論コストに着目した点で新規性がある。従来の手法は複数ステップのデノイジングを必要とし、オンラインRLのような反復的な環境相互作用を伴う設定では計算負荷が深刻だった。SOMはMeanFlowのアイデアを拡張し、Q関数から直接ターゲット速度場を構築することで、ターゲット分布からのサンプルを不要にした。これにより、単一ステップの生成で高価値領域に確率質量を集中させることが可能となり、性能と効率の両立を図っている。 本紙の過去報道との接続はないが、ロボティクスや制御分野での実応用を考えると、推論コストの削減は実機展開において重要な要素である。特に、ヒューマノイドや移動ロボットの制御では、リアルタイム性が求められるため、ワンステップ生成は実用化への大きな前進とみられる。 業界構造への含意としては、拡散モデルベースのポリシーが実環境で使いやすくなることで、シミュレーションから実機への転移（sim-to-real）や、オンライン学習の適用範囲が広がる可能性がある。一方で、提案手法の性能はロコモーションタスクに限定されており、より複雑な操作タスクや高次元状態空間での有効性は未検証である。また、Q関数からのスコア推定の精度や、確率フローODEの数値的安定性など、実装上の課題も残る。 今後の焦点は、SOMのスケーラビリティとロバスト性の検証、および実ロボットへの適用事例の有無である。特に、訓練時のサンプル効率や、環境の変化に対する適応性が実用化の鍵を握るとみられる。

なぜ重要か

拡散・フローマッチングポリシーは表現力が高い一方で、推論コストが実用上の障害となっていた。SOMは単一ステップ生成を実現し、オンラインRLでの適用可能性を大きく広げるものであり、ロボット制御や自動運転などリアルタイム性が要求される分野への応用が期待される。今後の実証実験や他タスクへの拡張が注目される。