RoboTryOn: バーチャル試着で人間動画から器用なロボット実演を合成

- 人間の egocentric video から、対象ロボットの実演データを合成する手法 RoboTryOn の提案。 - human-to-robot translation を virtual try-on と捉え、人物をロボットに置換し運動・物体・背景は保持する。 - 参照画像で指定した target robot の video を生成し、そこから action label を推定して policy learning に用いる。 - 高 DoF の humanoid embodiment を対象とする。

- 従来は teleoperated demonstration への依存が大きく、新規タスク適応のコストが高い。 - egocentric human video を代替に使う既存法は、human video への rendered robot の重ね合わせや human pose の retargeting を行い、高 DoF ロボットで大きな visual gap / action gap が残る。 - RoboTryOn は video 自体をロボットへ置換し、keyframe の autoregressive 変換と hand skeleton 条件で視覚的一貫性を狙う点が異なる。

- human video を、reference image で指定した target robot の video へ変換し、元の task・objects・background を保持する。 - 視覚的一貫性のため、選択した keyframe を autoregressively に変換し、それを guide として video synthesis を行う。 - video synthesis の motion は human hand skeleton に条件付けする。 - 合成 video から action label を推定するため、depth features を組み込んだ inverse dynamics model (IDM) を用い、policy learning に供する。

- 複数の humanoid embodiments で実験。 - 合成データで学習した policy は、real robot demonstration なしで新規タスク(両手 manipulation を含む)の平均 success rate を 2% から 60% へ改善。 - 合成データでの学習は、teleoperated demonstration のみで学習した policy と約 1/3 の収集コストで同等性能に達し、コスト効率を示す。

- 要旨からは不明(限界や失敗事例の詳細な議論は記述されていない)。 - 示されている範囲では、visual gap / action gap の低減と収集コスト削減が主張の中心。

- 要旨で直接参照・比較されている個別研究は明示されていない。 - 関連手法として、teleoperation による demonstration 収集、egocentric human video の利用、rendered robot の overlay、human pose retargeting、inverse dynamics model (IDM)、video synthesis を挙げる。