保守的な行動ノイズ方向最適化による残差強化学習

- 凍結した pretrained generative policy を online reinforcement learning で適応させるための手法。 - 入力ノイズを編集する noise-space residual RL の CNDO を提案。 - さらに action-space residual を加えた CANDO を提案。 - 目的は offline demonstrations で学習した構造を壊さず効率的に改善すること。

- 既存 noise-space residual 法は固定の latent feasible regions で適応を制限し、有用な noise edits を排除しうる。 - CNDO は predefined latent feasible regions を廃し、soft conservative constraint で制御。 - action-space residual 法は sample-efficient だが、さらに改善余地があると指摘。 - CANDO は latent-space 改善と local action correction を統合し、single-space 最良を 6.6 NAUC・4.1% success rate 上回る。

- frozen generative policy の Gaussian latent samples 周辺で state- and noise-conditioned directions を学習。 - soft conservative constraint は conservative value estimation と gated execution から構成。 - CNDO で noise-space と action-space residual learning の差を縮める。 - CANDO は action-space residual を追加し、structured latent-space improvement と local action correction を組み合わせる。

- 実験で CNDO が noise-space と action-space residual learning の gap を狭めることを示す。 - CANDO は single-space optimization を上回り、76.1 NAUC・91.4% final success rate を達成。 - 最良 single-space 結果に対し 6.6 NAUC・4.1% success rate の改善。 - 詳細は https://cando-rl.github.io/ で公開。

- 固定 latent feasible regions を廃する設計の妥当性や、soft conservative constraint の調整が議論点になりうる。 - noise-space と action-space の residual を併用する際の計算コストや安定性は要旨からは不明。 - 比較対象の詳細な experimental settings は要旨からは不明。

- noise-space residual RL の既存手法（fixed latent feasible regions を用いる手法）。 - action-space residual RL の手法。 - pretrained generative policy を活用する offline-to-online RL 関連研究。 - conservative value estimation や gated execution を用いる conservative RL 手法。