スカラー随伴マッチングによるQ学習

- Flow policy を off-policy RL で fine-tuning する手法 SQAM を提案。 - Flow policy は多段の flow step で action を生成するため、value function による fine-tuning が難しい。 - Adjoint matching を scalar 化し、per-step の vector-Jacobian product を不要にした。 - さらに policy 生成 action 上での critic value を制御する value penalty を組み合わせる。 - OGBench と実機 bimanual robot で有効性を検証。

- 従来の adjoint matching は各 flow step で vector-Jacobian product が必要で、step 数と policy サイズに比例して計算コストが増大。 - 提案手法は pretrained flow policy の batch-averaged velocity Jacobian が対角に集中する観察に基づき、closed-form scalar adjoint を導出。 - これにより per-step の vector-Jacobian product を排除し、計算効率を改善。 - OGBench の最も難しい 4 ドメインで最強 baseline を 18〜35 ポイント上回る。 - 実機 bimanual robot でも supervised fine-tuning を全 3 タスクで改善。

- Pretrained flow policy の batch-averaged velocity Jacobian が対角的に集中することを観察。 - この観察から closed-form scalar adjoint を導出し、最終 action の value gradient を flow time でスケール。 - これにより各 flow step での vector-Jacobian product を不要化。 - Scalar adjoint 下では policy 生成 action 上の critic value 制御が重要と判明。 - そこで policy 生成 action に value penalty を課す Q-learning with Scalar Adjoint Matching (SQAM) を構成。

- OGBench の最も難しい 4 ドメインで評価し、各ドメインで最強 baseline を 18〜35 ポイント上回る success rate を達成。 - 大規模 pretrained policy への拡張性を検証するため、実機 bimanual robot 上で vision-language-action policy を fine-tune。 - その結果、3 タスクすべてで supervised fine-tuning を上回る性能を確認。

- 要旨からは不明。 - ただし scalar adjoint の導出根拠である Jacobian の対角集中性や、value penalty の必要性についての議論が含まれる可能性がある。

- Adjoint matching に関する元論文。 - Flow policy の off-policy RL fine-tuning に関する研究。 - OGBench をベンチマークとして用いた関連手法。 - Vision-language-action policy の fine-tuning に関する研究。