日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
強化学習arXiv:2610.12848

不動点フローマッチングによる強化学習

Reinforcement Learning via Fixed-point Flow Matching

シェア:XThreadsFacebookLINEはてブBluesky

オンライン強化学習において、訓練データを必要とせずにフローポリシーを学習・微調整する不動点フローマッチング（FFM）を提案し、その有効性を実験的に示した。

詳しい要約

1. どんなもの？

- 強化学習（RL）における最大エントロピーおよび行動制約付きRLでは、最適方策はBoltzmann分布で与えられる。 - この分布からサンプルを生成するのは難しく、しばしば複雑でマルチモーダルである。 - flow matchingで訓練されたflow policiesはそのような分布を表現する強力な枠組みだが、従来は訓練データへのアクセスに依存していた。 - オンラインRLでは訓練データが一般的に利用できないため、この制限に対処するためにfixed-point flow matching (FFM)を提案する。 - FFMはRLにおいてflow policiesを訓練・微調整するためのデータ不要の手続きである。

2. 先行研究と比べてどこがすごい？

- 従来のflow matchingベースのflow policiesは訓練データへのアクセスを前提としていた。 - オンラインRLでは訓練データが利用できないため、従来手法は適用が困難であった。 - FFMはデータ不要でflow policiesを訓練・微調整できる点が新しい。 - オフラインからオンラインへの設定で事前訓練済みflow policiesを効果的に微調整できる。 - オンラインRLでflow policiesをスクラッチから効率的かつ正確に訓練できることを示した。

3. 技術・手法の肝は？

- FFMはtarget flow identityを利用して、actor更新をfixed-point iterationとして定式化する。 - flow-matchingスタイルの回帰目的関数を用い、criticのaction gradientsを回帰ターゲットとする。 - この反復の最適方策がfixed pointであることを示す。 - データ不要の手続きで、flow policiesの訓練と微調整を可能にする。

4. どうやって有効だと検証した？

- 広範な実験を通じて、FFMがオフラインからオンラインへの設定で事前訓練済みflow policiesを効果的に微調整することを示した。 - オンラインRLでflow policiesをスクラッチから効率的かつ正確に訓練できることを実証した。 - これらの結果から、FFMが訓練データを必要とせずに表現力豊かなflow-based policiesを学習するための原理的なアプローチであることを確立した。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、maximum entropy RL、behavior-constrained RL、flow matching、Boltzmann distribution、offline-to-online RL、online RLが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Denis Blessing, Onur Celik, Gerhard Neumann

分類: cs.LG, cs.RO

原文アブストラクト

In maximum entropy and behavior-constrained reinforcement learning (RL), the optimal policy is given by a Boltzmann distribution. Generating samples from this distribution can be challenging, as it is often complex and multimodal. While flow policies trained with flow matching provide a powerful framework for representing such distributions, they traditionally rely on access to training data, which is generally unavailable in online RL. To address this limitation, we propose fixed-point flow matching (FFM), a data-free procedure for training and fine-tuning flow policies in RL. FFM leverages the target flow identity to formulate the actor update as a fixed-point iteration, utilizing a flow-matching-style regression objective where the critic's action gradients serve as regression targets. We show that the optimal policy is a fixed point of this iteration. Through extensive experiments, we demonstrate that FFM effectively fine-tunes pretrained flow policies in the offline-to-online setting and enables efficient and accurate training of flow policies from scratch in online RL. These results establish fixed-point flow matching as a principled approach for learning expressive flow-based policies without requiring training data.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI