模擬変形地表面上での人間型ロボットの立ち上がり動作のデモンストレーション誘導

本論文は、29-DOFのUnitree G1ヒューマノイドが、硬い地面で記録された人間のデモンストレーションを用いて、変形する柔らかい地面での立ち上がり動作を生成するための、参照ガイド付き強化学習フレームワークを提案する。地形のコンプライアンスは、MuJoCoの剛体ソフトコンタクトモデルのsolrefとsolimpパラメータを用いてモデル化される。報酬は、(i)残差関節位置制御による参照動作追跡と、(ii)骨盤高さ、胴体の直立、最終姿勢などの明示的な回復目標から構成される。

先行研究では、硬い地面での立ち上がり動作が主に扱われてきたが、本手法は変形する柔らかい地面での立ち上がりを扱う点で新しい。また、人間のデモンストレーションを参照として用いることで、自然な動作を生成しつつ、明示的な回復報酬を追加することで、参照追跡だけでは不十分な課題を解決している。

手法の肝は、まず硬い地面で報酬を指定してポリシーを訓練し、その後、solrefを更新して地形の剛性を下げ、solimpを用いて公称表面貫入ゾーンを拡張することで、柔らかい地面に適応させる点にある。これにより、接触の多いフェーズでの表面貫入による遅延した支持力生成に適応しつつ、元のデモンストレーションパターンを維持する。

シミュレーションにおいて、転倒から立ち上がるタスクを完了し、目標の骨盤高さと直立性を達成し、最大接触貫入は約40mmであった。2つの立ち上がりシーケンスでデモンストレーションされ、硬い地面と柔らかい地面の両方で最終回復目標を達成した。アブレーション研究により、参照追跡だけでは立ち上がりに不十分であり、明示的な回復報酬が不可欠であることが示された。

要旨からは、実機での検証や、より複雑な地形や外乱への拡張性、報酬設計の一般性などに関する議論は不明である。また、最大接触貫入40mmが実機の許容範囲内かどうかや、学習の安定性、計算コストなども要旨からは不明である。

要旨で参照されている関連研究として、MuJoCoのソフトコンタクトモデル（solref, solimp）に関する文献や、参照動作追跡を用いた強化学習によるヒューマノイド制御の研究が挙げられる。具体的には、同分野の定番として、DeepMimicや、ヒューマノイドの立ち上がり動作を扱った既存研究が関連する。