Gen2Dex: シミュレーション初期化された生成動画デモから器用な操作を学習する

- 完全に指定された simulated scene から、操作行動を指定する video を生成し、それを physically executable な dexterous robot demonstration に変換する end-to-end framework。 - 生成 video は geometric distortions、不正確な contacts、物理的不整合を含み得るため、そのままでは robot で実行困難。 - perception pipeline と residual reinforcement learning を組み合わせ、video 由来の不完全な reference を補正しつつ demonstrated manipulation strategy を保持する。

- 先行の dexterous retargeting 手法と比較し、clean な ARCTIC demonstrations では competitive な性能。 - 生成 video から抽出した reference に対しては、先行手法より高い robustness を示す。 - simulated scene の object geometry、articulation、camera parameters を活用できる設定を扱う点が特徴。

- model-based object tracking に dense foundation-model features を用い、depth-based hand-object alignment を行う perception pipeline。 - 復元した human motion を retarget し、residual reinforcement learning で物理的に接地。 - backward curriculum と physically valid reset states の cache により、不完全な video-derived reference を補正しつつ manipulation strategy を保持。

- clean な ARCTIC demonstrations で prior dexterous retargeting approaches と比較。 - 生成 video から抽出した reference に対する robustness を評価。 - simulation で多様な rigid および articulated manipulation tasks を実演し、最適化 trajectory の real dexterous robot への open-loop transfer に成功。

- 生成 video に含まれる geometric distortions、不正確な contacts、その他の physical inconsistencies が課題として挙げられている。 - これらを residual reinforcement learning と backward curriculum、reset state cache で補正する設計。 - 詳細な限界や失敗事例については要旨からは不明。

- ARCTIC demonstrations を用いた prior dexterous retargeting approaches。 - residual reinforcement learning を用いた物理接地手法。 - dense foundation-model features を用いた object tracking 関連研究。 - simulation-grounded video generation による manipulation learning 関連研究。