幾何学的サポートによる行動正則化でオンライン強化学習を改善

- オンライン強化学習(online RL)において、事前学習済みのbase policy(拡散モデルやflow-matchingモデルなど)を正則化に用いる手法。 - base policyのsupport(分布が確率質量を持つ領域)からの距離に基づいてactionを罰するGeometric Support Behavior Regularization(GSBR)を提案。 - support内のactionは無罰、support外は距離に応じて滑らかに罰が増大する設計。 - 4つのrobotic benchmark、19タスクで評価。

- 既存のbehavioral cloning系正則化はactorをbase policy分布全体へ引き寄せ、suboptimalなmodeの棄却を罰してしまう(過度に制限的)。 - hard support constraint系はbase policyのsupport直外の改善を禁じてしまう(過度に制限的)。 - GSBRはsupport内では罰を与えず高価値modeへ集中でき、support外でも価値利得が罰を上回れば改善を許容する点で両者の制限を緩和。 - 平均success rateをbase policyの33%から95%へ向上させ、比較手法中最高の平均success rateとthroughputを達成。次善のRL手法よりnormalized throughputが約23%高い。

- actionのbase policy supportからの距離を罰する正則化を導入。 - support内: 罰なし。support外: 距離に対し滑らかに増大する罰。 - 価値推定の信頼性が低いsupport外では罰を強めつつ、価値利得が罰を上回る改善は許容。 - 距離はbase policyからの有限個のサンプル集合から推定するため、base policyへのsample accessのみでよい。

- 4つのrobotic benchmark、計19タスクで評価。 - base policyの平均success rate 33%に対しGSBRは95%を達成。 - 比較した全手法中で最高の平均success rateとthroughputを記録。 - 次善のRL手法と比べnormalized throughputが約23%高い。

- 要旨からは不明(サンプル数依存性や距離推定の精度、support外改善の許容度に関する議論は明示されていない)。 - 提案手法はsample accessのみを要求する点が実用上の利点として示唆される。

- diffusion modelやflow-matching modelをbase policyとするimitation learning研究。 - behavioral cloning正則化を用いるonline RL手法。 - hard support constraintを用いるonline RL手法。 - 比較対象となる次善のRL手法(具体名は要旨からは不明)。