HRP-5Pヒューマノイド、電流フィードバックで二足歩行を実現

何が起きたか

研究チームは、実機のHRP-5Pヒューマノイドロボットにおいて、アクチュエータの電流フィードバックを利用した強化学習ベースの二足歩行制御を実現したと発表した。論文は2023年3月7日にarXivで公開された。提案手法は、シミュレーション環境でトルク追従が不正確な状況を人工的に再現し、その環境でポリシーを訓練した後、実機に展開する。アブレーション研究により、フィードフォワード型のポリシーアーキテクチャとターゲットを絞ったダイナミクスランダム化がゼロショットでのsim2real成功に十分であることを示した。

詳細

従来の強化学習による脚式ロボット制御は、直接駆動アクチュエータを備えた四足ロボットや、低ギア比の軽量二足ロボットに限られていた。実物大のヒューマノイドへの適用は、sim2realギャップの大きさからあまり行われてこなかった。本研究では、アクチュエータレベルのトルク追従誤差に起因するギャップに着目し、実機のアクチュエータから電流フィードバックを取得するというアイデアを提案している。シミュレーションでは、トルク追従が悪い環境を人工的に作り出してポリシーを訓練し、そのポリシーを実機HRP-5Pに展開して二足歩行を達成した。さらに、アブレーションにより、メモリベースの複雑なネットワークアーキテクチャを使わずとも、フィードフォワード型のポリシーとダイナミクスランダム化の組み合わせでゼロショットsim2realが可能であることを示した。また、不整地での歩行において、従来のモデルベース制御と比較して提案するRLポリシーのロバスト性を検証した。

Key Facts

なぜ重要か

本研究は、実物大ヒューマノイドへの強化学習適用におけるsim2realギャップ問題に対する実用的な解決策を示した。電流フィードバックを利用することで、高価なメモリベースのアーキテクチャを必要とせず、ゼロショット転送を可能にした点は、今後のヒューマノイド制御の発展に寄与する可能性がある。