フロー反転アクションアンカーによるサンプル効率の高い強化学習方策改善

- 汎用ロボット政策(generalist robot policies)の強力なbehavioral priorを活かしつつ、deployment-levelの信頼性とthroughputを高めるための強化学習(RL)手法。 - オンラインinteractionのコストがRLの効果を制約する問題に対し、frozen flow-matching policiesを対象にsample-efficientなpolicy improvementを実現する。 - 提案手法名はAnchorQ。coarse-to-fineのpolicy improvementをstructuredでrefinableなlatent action representationで行う。

- 既存手法はfrozen flow-matching policiesをnoise spaceを連続action spaceとして扱うことで適応させていた。 - 本論文は、このbehaviorally unstructuredなspaceがexplorationを非効率にし、難しいタスクで意味あるlearning signalの抽出を妨げることが多いと示す。 - AnchorQはstructuredでrefinableなlatent action representationにより、simulatedおよびreal-world manipulation tasksでstate-of-the-artのpost-training baselinesをsample efficiencyで上回る。 - 同一interaction budgetでreal-world success rateが37%向上、simulated task throughputが97%向上。

- 各decision stepでflow reversalを用い、reference behaviorsをstate-conditioned latent anchorsへ写像する。 - そのanchor周辺にlocal particlesをサンプリングし、value-guided samplingで有望なrefinementsを探索する。 - 解析により、anchorsはidentification complexityを下げるがsupport biasを伴うこと、particle refinementがこのbiasとaction-class complexityをトレードオフすること、critic accuracyがKL-regularizedなvalue-guided selectionの信頼性を決めることを示す。

- simulatedおよびreal-worldのmanipulation tasksで評価。 - state-of-the-artのpost-training baselinesと比較し、sample efficiencyで優位であることを示す。 - 同一interaction budgetの下で、real-world success rateが37%向上、simulated task throughputが97%向上したと報告。 - 追加のvisualizationsはwebsite(https://anchorq-rl.com/)で公開。

- anchorsがidentification complexityを下げる一方でsupport biasを生むというトレードオフを解析的に議論。 - particle refinementがsupport biasとaction-class complexityの間のトレードオフを担うことを議論。 - critic accuracyがKL-regularizedなvalue-guided selectionの信頼性を左右する点を議論。 - 具体的な限界や失敗ケースの詳細は要旨からは不明。

- 比較対象であるfrozen flow-matching policiesをnoise spaceで適応させる既存手法(具体的な論文名は要旨からは不明)。 - post-training baselinesとして比較されたstate-of-the-art手法(具体的な名称は要旨からは不明)。 - 関連手法としてflow matching、KL-regularized RL、value-guided samplingの定番研究。