ロボットの形態と行動を同時模倣する「Co-Imitation」、arXivで発表

何が起きたか

2022年9月2日にarXivに公開された論文「Co-Imitation: Learning Design and Behaviour by Imitation」が、ロボットの形態と行動を同時に模倣する「co-imitation」という概念を提案した。著者らは、報酬関数を使わずにデモンストレータの状態分布を一致させることで、シミュレーション上のヒューマノイドに人間の歩行・ジョギング・蹴り動作を転移できると報告している。

詳細

論文は、ロボットの形態（morphology）と行動（behaviour）を同時に適応させる「co-adaptation」問題に新しい視点を導入する。従来のco-adaptationは報酬関数を最適化するアプローチが一般的だが、報酬関数の設計は困難で工学的な労力が大きいと指摘する。提案手法のco-imitationは、デモンストレータの状態分布に合わせることで形態と方策を適応させる。特に、エージェント間で状態空間と行動空間が一致しない困難なシナリオに焦点を当てており、多様なタスクと設定で行動の類似性が向上したとしている。実験では、シミュレーション上のヒューマノイドに人間の歩行、ジョギング、蹴り動作を転移することに成功した。

Key Facts

本紙の見方

今回の論文は、ロボットの形態と行動を同時に最適化する「共適応（co-adaptation）」研究に、報酬関数を介さない新たな枠組みを提示した点で注目される。従来の共適応は、タスク達成度を測る報酬関数を設計し、それを最大化するように形態と方策を進化させるのが一般的だった。しかし報酬関数の設計はタスクごとに試行錯誤が必要で、特に複雑な動作では工学的なコストが大きい。本論文は、報酬関数の代わりに「デモンストレータの状態分布にどれだけ近づけるか」を目的関数に据えることで、この問題を回避しようとする。これは、強化学習における模倣学習（imitation learning）の考え方を、形態の進化にまで拡張したものと位置づけられる。 本紙の過去報道との関連では、これまでヒューマノイドの運動生成や形態進化に関する研究をいくつか取り上げてきた。例えば、[本紙の関連記事]として挙げられている「Unitree、新型ヒューマノイドを発表 価格は○○」（2023年8月15日）では、実機のヒューマノイドが市販化されつつある現状を報じた。また、「Tesla、Optimusの量産計画を発表」（2023年5月17日）では、大手企業がヒューマノイドの量産に乗り出す動きを伝えた。これらの記事が示すように、ヒューマノイドのハードウェアは急速に実用化が進んでいる一方で、その動作を効率的に獲得するソフトウェア手法はまだ発展途上にある。本論文のco-imitationは、実機の動作獲得コストを下げる可能性を秘めており、ハードウェアの進展と組み合わさることで、ヒューマノイドの実用化を加速させる可能性がある。 業界構造への含意としては、ロボット開発におけるソフトウェアとハードウェアの分業が進む可能性が挙げられる。従来は、ロボットメーカーがハードウェアと制御ソフトを一貫して開発することが多かったが、co-imitationのような手法が確立すれば、動作生成の部分が独立したモジュールとして提供されるようになるかもしれない。また、模倣学習のデータとして人間の動作データが重要になるため、モーションキャプチャや動画データの収集・整備が競争力の源泉になる可能性がある。 一方で、本論文はシミュレーション上の実験に留まっており、実機での検証はまだ行われていない。また、状態分布の一致を測る指標の選択や、複雑なタスクでのスケーラビリティには課題が残るとみられる。今後確認すべき点としては、第一に、実機のヒューマノイドに適用した際の転移性能がどの程度か、第二に、デモンストレータとイミテータの状態空間が大きく異なる場合（例えば、異なる自由度やセンサ構成）に手法が機能するか、第三に、学習に必要なデータ量や計算コストが実用的な範囲に収まるか、が挙げられる。これらの点が明らかになれば、co-imitationがロボット開発の現場でどの程度使える技術なのかが見えてくるだろう。

なぜ重要か

この研究は、ロボットの形態と行動を報酬関数なしで同時に適応させる可能性を示しており、ヒューマノイドの動作獲得コストを大幅に下げる突破口になり得る。実機での検証やスケーラビリティの確認が待たれるが、ハードウェアの進展と組み合わせることで、ロボットの実用化を加速させる可能性がある。