RFPO: 身体性制御のための整流フローポリシー最適化

RFPOは、flow-based policyをembodied control向けにfew-step実行で信頼できるよう最適化する枠組み。 - 対象は連続ロボット制御で、flow policyの反復ODE積分による推論コストを削減。 - 学習時はfull-stepで最適化されるが、粗い数値積分では性能が落ちるfew-step discretization gapを問題視。 - 提案はReward-aware online Reflowとfrozen Gaussian PPO controllerを組み合わせ、展開時は1 Euler stepの単一flow student。 - Unitree Go2, Boston Dynamics Spot, Unitree H1, Unitree G1で検証。

flow-based policyは表現力が高いが反復ODE積分で推論コスト大。 - 単純に積分予算を減らすと、full-step前提の最適化のため制御性能が大きく劣化する。 - RFPOはfew-step discretization gapに対処し、one-step実行でもfull-step性能を維持。 - 具体的にはone-step returnsが64-step値の2.4%以内、Unitree Go2で98.5%の報酬を保持しつつ推論遅延を4.39 msから0.08 msへ54.9x高速化。

中核はReward-aware online Reflow。 - on-policy学習中にstudent-induced transport pathsをrectifyし、粗い積分への堅牢性を高める。 - frozen Gaussian PPO controllerがfullおよびintermediate integration budgetsで補完的なaction-space supervisionを供給。 - 展開ポリシーは単一flow studentで、1 Euler stepで実行。

Unitree Go2, Boston Dynamics Spot, Unitree H1, Unitree G1で評価。 - zeroおよびrandom initializationの両方で、one-step returnsが64-step値の2.4%以内。 - Unitree Go2ではone-step実行が64-step報酬の98.5%を保持し、オンボード平均推論遅延を4.39 msから0.08 msへ短縮、54.9x高速化。 - 実機実験で安定したone-step locomotionを確認。

要旨からは不明。 - 限界や失敗事例、計算コスト、ハイパーパラメータ感度などは記述されていない。 - 実機実験の詳細条件や他手法との統計比較も要旨からは不明。

要旨で参照/比較されている研究は明示されていない。 - 関連手法としてflow-based policy、Gaussian PPO、Rectified Flow、Euler integration、on-policy learningが挙げられる。 - 同分野の定番としてPPOやdiffusion policy、flow matching policyの文献を次に読むべき。 - コードとウェブサイトが示されているため、実装と実験詳細を確認するのが有用。