何が起きたか
2023年7月10日にarXivに公開された論文「Diffusion Policies for Out-of-Distribution Generalization in Offline Reinforcement Learning」において、著者らはState Reconstruction for Diffusion Policies (SRDP)という新手法を提案した。SRDPは、オフライン強化学習の拡散ポリシーに状態再構成特徴学習を組み込み、OOD汎化を促進する。提案手法は、新たに設計した2D Multimodal Contextual Bandit環境を用いて、6自由度の実機UR10ロボットとシミュレーションの両方で検証され、従来アルゴリズムと比較された。さらに、D4RLベンチマーク（8自由度のantのナビゲーション、half-cheetah、hopper、walker2dの前進移動）で最先端の結果を達成した。
詳細
オフライン強化学習は、データ収集に使用された行動ポリシーよりも優れたポリシーを学習するために過去の経験を活用するが、トレーニング中のオンラインインタラクションがないため、分布シフトに対処することが課題となる。SRDPは、OOD状態による分布シフトを軽減するために、一般化可能な状態表現の学習を促進する。 著者らは、OOD汎化とSRDPの高速収束を示すために、新規の2D Multimodal Contextual Bandit環境を設計し、実機UR10とシミュレーションで実現した。アブレーション研究により、提案する状態再構成の重要性が示された。さらに、スパース連続制御ナビゲーションタスクでは、オフラインRLデータセットから状態空間のさまざまな領域（ゴールを含む領域）を除去した場合に、競合ベースラインに対して167%の改善を達成した。
Key Facts
| 論文は2023年7月10日にarXivで公開された（arXiv:2307.04726v4）。 | [1] |
| 提案手法はState Reconstruction for Diffusion Policies (SRDP)と呼ばれる。 | [1] |
| SRDPは拡散ポリシーに状態再構成特徴学習を組み込む。 | [1] |
| 検証には6自由度の実機UR10ロボットとシミュレーションが使用された。 | [1] |
| 新規の2D Multimodal Contextual Bandit環境が設計された。 | [1] |
| D4RLベンチマークで8自由度のantナビゲーション、half-cheetah、hopper、walker2dの前進移動を評価した。 | [1] |
| スパース連続制御ナビゲーションタスクで競合ベースラインに対して167%の改善を達成した。 | [1] |
なぜ重要か
オフライン強化学習は実世界応用において重要だが、分布シフトが性能を制限する。SRDPは状態再構成学習によりOOD汎化を改善し、実機ロボットでの検証とD4RLでの最先端結果を示すことで、オフラインRLの実用性向上に貢献する。