バランスの取れたデータダイエット：ロボット制御のための超大規模強化学習における探索ボトルネックの解消

- 大規模並列シミュレーションを用いた強化学習(RL)によるロボット制御の研究。 - 四足歩行のlocomotionや接触の多いassemblyなど、精密・動的なタスクを対象。 - 課題: シミュレータリセットの分布を一様サンプリングすると、既に習得済みまたは未習得のタスク構成に学習経験が浪費される。 - 提案: Success Guided Sampling (SGS) という適応的サンプラー。 - ポリシーの能力のフロンティア付近のタスク構成に学習を集中させる。 - 最大2^20(100万以上)の並列環境で検証。 - 学習したmanipulationポリシーをRGBベースに蒸留し、実機でzero-shot転移を実証。

- 従来のRLパイプラインは、shaped rewardsやdemonstrationsなど、タスクごとの工学負担の大きい構造的priorに依存。 - 近年の研究では、多様なシミュレータリセットと大規模並列シミュレーションで工学負担を軽減できることが示された。 - しかし、そのパラダイムをより精密・動的な問題に単純にスケールするのは容易ではない。 - 一様サンプリングでは、ポリシーが既に習得した、またはまだ試せないタスク構成に学習経験が浪費される。 - そのため、並列環境のスケーリングの期待効果が得にくい。 - SGSは、ポリシーの能力のフロンティア付近に学習を集中させ、バッチ内の経験を最大限活用。 - 結果として、従来手法では解けなかった難しいmulti-terrain quadruped locomotionやcontact-rich assemblyを解決。

- Success Guided Sampling (SGS) というシンプルな適応的サンプラーを導入。 - ポリシーの能力のフロンティア付近のタスク構成にRL訓練を集中させる。 - これにより、大規模シミュレーションRLがバッチ内の経験を最大限活用できる。 - 大規模並列シミュレーションへの効果的なスケーリングを可能にする。 - 最大2^20(100万以上)の並列環境を使用。 - 学習したmanipulationポリシーをRGBベースのポリシーに蒸留。 - 実機でのzero-shot転移を実現。

- 最大2^20(100万以上)の並列環境を用いた実験を実施。 - 難しいmulti-terrain quadruped locomotionとcontact-rich assemblyタスクで、SGSがRLを解決に導くことを示した。 - 従来手法ではこれらのタスクを解けなかった。 - 学習したmanipulationポリシーをRGBベースに蒸留し、実機でいくつかの難しいassemblyタスクへのzero-shot転移を実証。 - プロジェクトウェブサイト: https://sgs-rl.github.io/

- 要旨からは不明。 - ただし、一様サンプリングの非効率性と、SGSによるフロンティア集中の有効性が議論の中心。 - 大規模並列環境のスケーリングにおける学習信号の浪費が問題として提起されている。 - SGSの限界や適用範囲についての議論は要旨からは不明。

- 要旨で参照/比較されている研究: 多様なシミュレータリセットと大規模並列シミュレーションを組み合わせた先行研究(具体的な論文名は要旨に記載なし)。 - 関連手法: sim-to-real reinforcement learning (RL)、shaped rewards、demonstrations。 - 同分野の定番: domain randomization、curriculum learning、parallel simulation (例: Isaac Gym)。 - 具体的な次に読むべき論文は要旨からは不明。