ViLoMan: ヒューマノイドロボットの視覚・固有感覚による全身移動操作スキルの学習

- 本論文は、ヒューマノイドロボットの自律的なloco-manipulation（移動と操作の統合）のためのスケーラブルなフレームワークViLoManを提案する。 - 部分的で運動学的な人間-物体インタラクションのデモンストレーションを、物理的に実行可能な完全なロボット軌道に変換する。 - 変換された軌道をteacher-student distillationフレームワークで利用し、egocentric depth観測とproprioceptive測定から直接関節レベルの全身行動にマッピングする統一ポリシーを学習する。 - 展開時には参照動作や中間コマンドを必要としない。 - シミュレーションと実世界の多様なドア構成とロボット初期条件でドア閉めタスクを評価する。

- 従来の研究と比較して、多様で物理的に実行可能なロボット-物体インタラクションデータの不足と、オンボード観測から統一的な全身制御を直接学習することの難しさを克服する。 - ViLoManは、部分的な運動学的デモンストレーションを完全な物理的軌道に変換し、teacher-student distillationを活用することで、参照動作や中間コマンドなしで動作する統一ポリシーを実現する。 - 単一のポリシーで多様なタスク変動にロバストに一般化し、シミュレーションから実世界への効果的な転移を可能にする点が優れている。

- 部分的で運動学的な人間-物体インタラクションのデモンストレーションを、物理的に実行可能な完全なロボット軌道に変換する。 - 変換された軌道をteacher-student distillationフレームワーク内で利用し、egocentric depth観測とproprioceptive測定を入力として、関節レベルの全身行動を出力する統一ポリシーを学習する。 - 展開時には参照動作や中間コマンドを必要とせず、オンボードのdepth sensingとproprioceptionのみで動作する。

- シミュレーションと実世界の両方で、多様なドア構成とロボット初期条件のドア閉めタスクを評価した。 - 実験結果は、単一のポリシーがUnitree G1ヒューマノイドにオンボードのdepth sensingとproprioceptionのみを使用して完全なタスクを完了させ、タスク変動にロバストに一般化し、シミュレーションから実世界へ効果的に転移することを示した。

- 要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。関連手法として、teacher-student distillation、loco-manipulation、whole-body control、sim-to-real transferなどの同分野の定番が挙げられる。