関節・カメラ・アクション！任意リグのための3Dモーションと動画の共生成

- 任意の rig（骨格）に対して、video と 3D motion、さらにその motion を scene に位置合わせする camera を同時生成（co-generate）するモデル。 - 例：video model が猿の跳躍を描けても replay 可能な 3D motion として返せない課題に対し、video と 3D motion を直接 co-generate する。 - 対象は人間 skeleton に限らず任意の skeleton を扱う。 - 入力は text や video、rig motion などで、video→rig motion、rig motion→video、keyframe 制御も可能。

- 従来の video-motion model は human skeleton のみを扱い、しばしば数十億パラメータを追加する。 - あるいは生成した 2D pose map から 3D motion を triangulate する方式だった。 - 提案法は 3D motion を別モデルに保ち、任意 skeleton を支持しつつ、pretrained video model と少数の cross-attention layer で接続する。 - これにより video-first pipeline より多様な rig を text から忠実に animate でき、周囲 scene に応答する motion を実現。

- 3D motion を専用モデルに分離し、任意 skeleton を扱えるようにする。 - pretrained video model とは small set of cross-attention layers で接続する。 - 分離により motion model は paired video より入手・拡張が容易な motion-only data から skeleton の動きを学習できる。 - 各 joint を video frame 上で locate することを学習し、camera を復元して 3D motion を scene に配置する。 - 多 skeleton 学習のため generative video editor で animated 3D asset を action に適した scene に置き、既知 motion が有効なままになるよう edit を curate する。

- human と robot の video に加え、generative video editor による編集で約 200K の training pair を構築。 - 評価では、提案モデルが video-first pipeline より多様な rig を text から忠実に animate することを示す。 - motion が周囲 scene に応答することも確認。 - video→rig motion、rig motion→video、keyframe-based control of 3D motion が可能であることを示す。 - 詳細な定量指標は要旨からは不明。

- 3D motion を video model から分離する設計の利点（任意 skeleton 対応、motion-only data 活用、パラメータ増加の抑制）が主張される。 - generative video editor で作る training pair の品質・既知 motion の妥当性をどう保証するかは要旨からは不明。 - camera 復元や joint localization の精度、失敗ケース、計算コスト、実世界 robot への適用限界は要旨からは不明。

- 要旨で比較対象として言及される video-first pipeline や、2D pose map から 3D motion を triangulate する prior video-motion model。 - human skeleton 専用の video-motion model（例：human motion video generation 系）。 - 関連要素として pretrained video model、cross-attention、generative video editor、keyframe-based control。 - 同分野の定番として text-to-video generation や 3D human motion generation の代表的手法。