強化学習の探索に時間相関ノイズを導入する手法「Lattice」、arXivで公開

何が起きたか

研究チームは、強化学習における探索手法「LATent TIme-Correlated Exploration (Lattice)」を提案し、論文をarXivで2023年5月31日に公開した。Latticeは、ポリシーネットワークの潜在状態に時間相関ノイズを注入する手法で、オン・オフポリシーアルゴリズムの両方に統合可能とされる。実験では、PyBulletのロコモーションタスクにおいて、Lattice-SACがHumanoid環境で非構造化探索より18%高い報酬を達成し、MyoSuiteの筋骨格制御環境では、Lattice-PPOが到達・物体操作タスクの多くで高い報酬を得るとともに、エネルギー効率の良いポリシーを発見し、20〜60%の削減を達成した。コードはGitHubで公開されている。

詳細

強化学習では、エージェントが環境を探索しながらポリシーを学習するが、高次元の感覚入力を運動出力にマッピングするポリシーの学習は、次元の呪いにより特に困難である。従来のSACやPPOなどの最先端手法は、独立したガウスノイズでアクチュエーションを摂動させることで探索を行う。しかし、この非構造的な探索は、多数のアクチュエータ（モーターや筋肉など）が動作を駆動する過アクチュエーションシステムでは、無相関な摂動が互いの効果を打ち消したり、タスクに関係のない動作の変更を引き起こしたりする可能性がある。時間相関を導入する既存手法はあるが、アクチュエータ間の相関の導入はほとんど無視されてきた。 Latticeは、ポリシーネットワークの活性を摂動させることで生成されるノイズ付きアクションが、完全な共分散行列を持つ多変量ガウス分布としてモデル化できることを示す。これにより、時間とアクチュエータ空間の両方で構造化されたアクションノイズを実現する。実験では、PyBulletのロコモーションタスクでLattice-SACが最先端の結果を達成し、Humanoid環境で非構造化探索より18%高い報酬を得た。また、MyoSuiteの筋骨格制御環境では、Lattice-PPOが到達・物体操作タスクの多くで高い報酬を達成し、エネルギー効率の良いポリシーを発見して20〜60%の削減を実現した。

Key Facts

なぜ重要か

Latticeは、過アクチュエーションシステムにおける探索の課題に対処する新しい手法を提供する。時間とアクチュエータ空間の両方で構造化されたノイズを導入することで、複雑な運動制御タスクでの学習効率とエネルギー効率を向上させる可能性がある。