対称性を利用した記憶拡張で脚式ロボットのRL学習効率を向上 新フレームワークSGMA

何が起きたか

arXivに2025年2月3日付で公開された論文(識別番号2502.01521v4)において、脚式ロボットの移動学習のための強化学習(RL)訓練効率を改善するフレームワーク「Symmetry-Guided Memory Augmentation (SGMA)」が提案された。SGMAは、ロボットとタスクの対称性を利用して追加の環境相互作用なしに物理的に整合的な訓練経験を生成し、ポリシーのメモリ状態にも変換を拡張することで、タスク関連の文脈を保持し行動を適応させる。評価はシミュレーション上の四足ロボットと人型ロボット、および実機の四足プラットフォームで実施され、関節故障や積載変動を含む多様な移動タスクにおいて、効率的なポリシー訓練と堅牢な性能を達成したと報告されている。

詳細

脚式ロボットの移動のための強化学習(RL)ポリシー訓練は、多くの場合、コストと時間を要する広範な環境相互作用を必要とする。SGMAは、構造化された経験拡張とメモリベースの文脈推論を組み合わせることで、訓練効率を改善するフレームワークである。具体的には、ロボットとタスクの対称性を利用して、追加の相互作用なしに物理的に整合的な訓練経験を生成する。さらに、単純な拡張の落とし穴を避けるため、これらの変換をポリシーのメモリ状態に拡張し、エージェントがタスク関連の文脈を保持し、それに応じて行動を適応できるようにする。 評価は、シミュレーション上の四足ロボットと人型ロボット、および実機の四足プラットフォームで行われた。関節故障や積載変動を含む多様な移動タスクにわたり、本手法は効率的なポリシー訓練を達成しつつ堅牢な性能を維持し、脚式ロボットのためのデータ効率的なRLへの実用的な経路を示している。

Key Facts

なぜ重要か

脚式ロボットのRL訓練は環境相互作用のコストが課題であり、SGMAは追加の相互作用なしに訓練データを拡張する手法を提案している。これにより、データ効率的なRLの実現に向けた実用的な道筋が示され、四足・人型ロボットの移動学習の効率化に寄与する可能性がある。