オフライン強化学習2026/9/13arXiv:2609.14261

VGFM: フローマッチングにおける密な価値誘導による表現力豊かなロボット方策

VGFM: Expressive Robot Policies via Dense Value Guidance in Flow Matching

フローマッチング方策の各中間ステップで価値誘導を行い、BPTTや追加損失なしにオフライン強化学習を効率化する手法を提案。

詳しい要約

1. どんなもの？

- オフライン強化学習（RL）のための新しいフレームワーク「Value-Guided Flow Matching (VGFM)」を提案。 - ロボットの行動を生成するポリシーを条件付きフローマッチングモデルとしてパラメータ化し、アクション空間（x-prediction）で表現。 - 各フローステップが有効なロボットアクションを生成し、標準的なオフラインRLのクリティックで直接評価可能。 - 値ガイダンスをランダムにサンプリングされたフロー時刻に適用し、生成軌道全体を通した微分（BPTT）を回避。 - 再トレーニングなしでフローODEの離散化を変更でき、推論時の柔軟性を保持。 - OGBenchのロボット移動・操作タスクで評価され、厳密な評価プロトコルの下で強い性能を達成。

2. 先行研究と比べてどこがすごい？

- 従来のオフラインRLで生成モデルをポリシーとして用いる手法は、値ベースの目的を生成軌道に沿って組み込む際に、BPTT、補助アーキテクチャ、蒸留損失などの大きな訓練複雑性を伴う。 - VGFMはこれらのオーバーヘッドを回避し、BPTTなしで密な値ガイダンスを実現。 - 追加のアルゴリズム的複雑性を導入せず、スケーラブルでシンプルなアプローチを提供。 - 推論時にフローODEの離散化を変更できる柔軟性を持ち、再トレーニング不要。

3. 技術・手法の肝は？

- ポリシーを条件付きフローマッチングモデルとしてアクション空間（x-prediction）でパラメータ化。 - 各中間フローステップが有効なロボットアクションを生成し、標準的なオフラインRLクリティックで直接評価可能。 - 値ガイダンスをランダムにサンプリングされたフロー時刻に適用し、生成軌道全体を通した微分を回避。 - 推論時にはフローODEの離散化を変更可能で、再トレーニング不要。 - これにより、BPTTや追加のアルゴリズムオーバーヘッドなしで密な値ガイダンスを実現。

4. どうやって有効だと検証した？

- OGBenchのロボット移動（locomotion）および操作（manipulation）タスクで評価。 - 厳密な評価プロトコルの下で、広範囲のタスクにおいて強い性能を達成。 - 最小限のハイパーパラメータチューニングでこれらの結果を実現。 - 長期的・目標指向のロボット制御における有効性を実証。

5. 議論はある？

- 要旨からは、VGFMの限界や議論の詳細は明示されていない。 - ただし、オフラインRLにおける生成モデルベースのポリシー改善の課題（BPTT、補助アーキテクチャ、蒸留損失）を克服する点が強調されている。 - シンプルでスケーラブル、効果的なアプローチであると主張。 - 具体的な議論や制約については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：オフラインRLにおける生成モデルベースのポリシー（例：Diffusion Policy、Flow Matching）、値ベースの目的を組み込む手法（例：Value-Guided Diffusion、Q-learning with generative models）。 - 関連手法：OGBench（評価ベンチマーク）、条件付きフローマッチング、x-prediction。 - 同分野の定番：Offline RL（CQL、IQL）、Diffusion Models for RL（Diffuser、Decision Diffuser）、Flow Matching for Robotics。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Prajwal Koirala, Mark Campbell

分類: cs.RO, cs.LG

原文アブストラクト

Recent robot learning paradigms increasingly rely on large offline datasets of robotic interactions to train control policies. Expressive generative models enable rich and multimodal action representations, expanding the capability of this paradigm for complex robotic control. However, policy improvement with multi-step generative actors remains challenging. In offline reinforcement learning (RL), incorporating value-based objectives along generative trajectories often introduces substantial training complexity, including backpropagation through time (BPTT), auxiliary architectures, or distillation losses. We propose Value-Guided Flow Matching (VGFM), a scalable offline RL framework that enables dense value-guided shaping within a flow-based policy while avoiding BPTT and additional algorithmic overhead. VGFM parameterizes the policy as a conditional flow-matching model in action (x-prediction) space, ensuring that each intermediate flow step produces a valid robot action that can be directly evaluated by a standard offline RL critic. This design allows value guidance to be applied at randomly sampled flow times without differentiating through the entire generative trajectory, while preserving inference-time flexibility by varying the discretization of the underlying flow ODE without retraining. Evaluated on robotic locomotion and manipulation tasks in OGBench, VGFM achieves strong performance across a wide range of tasks under rigorous evaluation protocols. With minimal hyperparameter tuning, these results demonstrate that VGFM provides a simple, scalable, and effective approach for expressive policy learning in long-horizon, goal-oriented robotic control.

arXivで原文を読む →arXiv概要ページ