何が起きたか
2022年10月6日にarXivで公開された論文「Training Diverse High-Dimensional Controllers by Scaling Covariance Matrix Adaptation MAP-Annealing」において、研究チームは進化戦略（ES）ベースの品質多様性アルゴリズムであるCMA-MAE（Covariance Matrix Adaptation MAP-Annealing）を高次元のニューラルネットワーク制御器に適用可能にする3つの新変種を提案した。実験では、ベンチマークのロボット移動タスクにおいて、提案変種がESベースのベースラインを上回り、最先端の深層強化学習ベースの品質多様性アルゴリズムと同等かそれを上回る性能を示したと報告している。
詳細
ロボットの移動タスクでは、シミュレーションで多様なニューラルネットワーク制御器を事前学習することで、ロボットが損傷にオンラインで適応できることが示されている。しかし、多様で高性能な制御器を見つけるには、高価なネットワーク学習と多数のハイパーパラメータの広範な調整が必要となる。一方、CMA-MAEは進化戦略（ES）ベースの品質多様性アルゴリズムであり、これらの制限がなく、標準的なQDベンチマークで最先端の性能を達成している。ただし、CMA-MAEは二次複雑性のため、現代のニューラルネットワーク制御器にはスケールできないという課題があった。 研究チームは、ESにおける効率的な近似手法を活用し、高次元にスケールする3つのCMA-MAE変種を提案した。実験では、ベンチマークのロボット移動タスクにおいて、提案変種がESベースのベースラインを上回り、最先端の深層強化学習ベースの品質多様性アルゴリズムと同等かそれを上回る性能を示した。
Key Facts
| 論文は2022年10月6日にarXivで公開された（arXiv:2210.02622v3）。 | [1] |
| 提案された3つのCMA-MAE変種は、進化戦略（ES）の効率的な近似手法を活用して高次元にスケールする。 | [1] |
| CMA-MAEは二次複雑性のため、現代のニューラルネットワーク制御器にはスケールできないという課題があった。 | [1] |
| 実験では、ベンチマークのロボット移動タスクにおいて、提案変種がESベースのベースラインを上回った。 | [1] |
| 提案変種は、最先端の深層強化学習ベースの品質多様性アルゴリズムと同等かそれを上回る性能を示した。 | [1] |
| CMA-MAEは進化戦略（ES）ベースの品質多様性アルゴリズムであり、標準的なQDベンチマークで最先端の性能を達成している。 | [1] |
なぜ重要か
この研究は、品質多様性アルゴリズムの適用範囲を高次元のニューラルネットワーク制御器に拡張するものであり、ロボットの適応制御における進化戦略の有効性を示す。提案手法が深層強化学習ベースの手法と同等以上の性能を達成したことは、進化戦略がロボット制御の分野で有力な選択肢となり得ることを示唆している。