ANYmalとOP3、人間・動物の動作模倣でロコモーションスキルを学習 ゼロショット実機展開

何が起きたか

研究チームは2022年3月31日にarXivで公開した論文で、人間と動物の動作データを活用したロボット移動スキル学習手法を発表した。提案手法では、ANYmal四足ロボットとOP3ヒューマノイドに対して、歩行制御とボールドリブルのポリシーを学習し、シミュレーションから実機へのゼロショット転送に成功した。

詳細

提案手法は、人間や犬のモーションキャプチャデータを模倣して移動スキルモジュールを学習し、それを複雑な下流タスクに再利用する。モーションキャプチャデータによる事前知識により、再利用時の報酬設計を大規模に行う必要がなく、自然な挙動を生成できる。学習したスキルモジュールは、模倣、歩行制御、ボールドリブルの各ポリシーに応用され、ANYmalとOP3の両方で実機検証が行われた。

Key Facts

本紙の見方

今回の研究は、ロボットの移動スキル学習における「報酬設計の負担軽減」と「実機展開の容易さ」という2つの課題に取り組んだ点で新規性がある。従来の強化学習ベースのロコモーション制御では、タスクごとに報酬関数を詳細に設計する必要があり、その調整に多くの工数がかかっていた。本手法は、人間や動物の動作データを事前知識として利用することで、この報酬設計の手間を大幅に削減し、自然な動作を生成できる点が特徴だ。 本紙の過去報道との接続はないが、この研究は、ロボット学習における「模倣学習」と「転移学習」の進展を示すものだ。特に、ゼロショットでのシミュレーションから実機への転送は、シミュレーションと実環境のギャップ（Sim-to-Real gap）を克服する上で重要な成果であり、実用化へのハードルを下げる可能性がある。 業界構造への含意としては、このような手法が確立されれば、ロボットメーカーはタスクごとに専門家が報酬設計を行う必要がなくなり、開発コストの削減や開発期間の短縮につながる。また、モーションキャプチャデータの活用は、人間の動作データを収集・整備するエコシステムの重要性を高める。 未確定の論点としては、提案手法がどの程度のタスクの複雑さまで対応できるか、また、実機展開時の安全性や堅牢性がどの程度確保されるかが挙げられる。さらに、モーションキャプチャデータの質や多様性が学習結果に与える影響も検証が必要だ。

なぜ重要か

この研究は、ロボットの移動スキル学習における報酬設計の負担を軽減し、実機展開を容易にする可能性を示した。これにより、ロボットの開発コスト削減や、より複雑なタスクへの応用が期待される。また、人間や動物の動作データを活用するアプローチは、ロボットの自然な動きの実現にも寄与するだろう。