リスクを考慮した四足歩行制御、分布強化学習で実現 ETH Zurichらが発表

何が起きたか

ETH Zurichの研究チームは、2023年9月25日に公開された論文『Learning Risk-Aware Quadrupedal Locomotion using Distributional Reinforcement Learning』において、四足歩行ロボットのためのリスク感応型歩行訓練手法を発表した。この手法は分布強化学習を用いて価値分布を推定し、リスク指標を組み込むことで、ロボットの環境との相互作用における不確実性を考慮する。提案手法はDistributional Proximal Policy Optimization (DPPO)と呼ばれ、Proximal Policy Optimization (PPO)を拡張したものである。リスク選好は単一のパラメータで制御でき、リスク回避からリスク追求まで動的に調整可能である。シミュレーションと四足歩行ロボットANYmalで実証された。

詳細

従来の歩行制御では、価値の期待値に依存するため、危険環境でのリスクが明示的にモデル化されていなかった。本研究では、完全な価値分布を推定し、リスク指標を用いてリスク感応型の価値推定を抽出する。これにより、追加の報酬関数調整なしでリスク感応性を実現できる。リスク選好は単一パラメータで制御可能で、ロボットの行動を動的に調整できる。実験のビデオとコードは公開されている。

Key Facts

なぜ重要か

危険環境でのロボット運用には、行動と動作に伴うリスクの理解が不可欠である。従来の歩行制御ではリスクが明示的にモデル化されていなかったが、本研究は分布強化学習を用いてリスクを明示的に考慮する手法を提案し、単一パラメータでリスク選好を調整できる点で、実用的な適応性を高める。