KinoGen: 運動学的に接地した動画生成によるカスタマイズ可能なヒューマノイド移動操作リファレンス

- ヒューマノイドの loco-manipulation 参照軌道を、video generation により合成する KinoGen を提案。 - 対象ロボットと物体の calibrated render を条件に pretrained video generator を動かす。 - 生成された two-view video に同じモデルを fit させ、robot configuration space 内の参照を復元。 - human body proxy や retargeting を必要としない。 - 編集した keyframe を条件に再生成でき、指定した goal object pose を満たす参照が得られる。

- video-based baseline と比べ、penetration と foot skating が低減。 - annotated contacts を 90% 以上保持。 - 従来の human body proxy や retargeting を経由せず、構成上 robot configuration space に参照が存在。 - 編集 keyframe による customization では、direct interpolation より penetration が大幅に少なく、指定 target を満たす。

- pretrained video generator を、simulated task instance 内の robot と object の calibrated render で条件付け。 - 生成 two-view video に同一モデルを fit させて参照を復元。 - body, hand, object priors で reconstruction を初期化。 - cross-view evidence に対する direct optimization で refine。 - 編集 keyframe も単なる rendered state として扱い、goal object pose を指定して再生成。

- 8 つの loco-manipulation tasks で評価。 - video-based baselines と比較し、penetration と foot skating が低いことを確認。 - annotated contacts の 90% 以上を保持。 - customized references が全 prescribed target を満たし、direct interpolation より penetration が少ない。 - 合成参照で学習した tracking policies を Unitree G1 humanoid with dexterous hands に展開。

- 要旨からは不明。 - 限界、失敗事例、計算コスト、汎化性に関する議論は要旨に記載なし。

- 要旨で参照/比較されている video-based baselines、direct interpolation、retargeting、human body proxy に関する研究。 - 同分野の定番として humanoid loco-manipulation、video generation、tracking policy に関する研究。