脚式ロボットのナビゲーションをエンドツーエンドで学習する新手法を発表

何が起きたか

2022年9月26日にarXivで公開された論文(識別番号2209.12827v1)において、研究チームは脚式ロボットのナビゲーションをエンドツーエンドで学習する手法を提案した。従来の経路計画、経路追従、移動という分割アプローチに代わり、深層強化学習を用いて完全な問題を解く。ロボットは事前計算された経路を追従するのではなく、与えられた時間内に目標位置へ到達することを求められ、タスクの成功はエピソード終了時のみ評価される。実機の四足ロボットで展開に成功し、以前は不可能だった困難な地形を横断できたと報告している。

詳細

従来の脚式ロボットの局所ナビゲーションでは、経路計画、経路追従、移動の各サブタスクに分割し、移動制御ポリシーが指令された速度を正確に追従することが一般的だった。しかし、この分割方式では個々のタスクが解空間全体を考慮しないため、ロボットの能力が制限される。本研究では、この問題を完全に解くためにエンドツーエンドのポリシーを深層強化学習で訓練する。 ポリシーは事前計算された経路を継続的に追従するのではなく、提供された時間内に目標位置へ到達する必要がある。タスクの成功はエピソード終了時のみ評価されるため、ポリシーはできるだけ速く目標に到達する必要はなく、経路と移動歩容を自由に選択できる。この訓練方法により、より大きな解空間が開かれ、ロボットはより複雑な行動を学習できる。研究チームは、このアプローチを速度追従と比較し、タスク報酬の時間依存性が新しい行動の学習に重要であることを示した。

Key Facts

なぜ重要か

この研究は、脚式ロボットのナビゲーションを分割方式からエンドツーエンド学習へ転換するものであり、より複雑な行動の学習を可能にする。実機での検証により、エネルギー効率の良い歩容と高い成功率を達成し、従来手法の限界を克服する可能性を示した。