AutodidactWAM: 生成動画からロボット動作へのクロスモーダル自己蒸留

World-action models (WAMs) の一種である Cosmos 3 を、未見のロボットである Unitree G1 humanoid (BrainCo 製五指ハンド) に LoRA fine-tune で適応させる研究。video-action asymmetry (生成 video は妥当だが co-generated action が systematic に mis-targeted) を明らかにし、teleoperation なしで hand-pose estimator + inverse kinematics により生成 video から action を復元する AutodidactWAM を提案。復元 action を preferred target として action 関連層のみを fine-tune する self-distillation 手法。

従来の WAM 適応は teleoperation による task-specific データを要するが、本手法は one-time embodiment adaptation 後は追加の teleoperation 不要。native action の成功率 (pre-grasp 17%, grasp 10%, pick-and-place 7%) に対し、復元 action gate は約 75%, 47%, 42% と大幅改善。held-out object でも native より良い。

生成 video 上で動作する hand-pose estimator (teleoperation なしで学習) と inverse kinematics により action estimate を復元。native prediction と pair にして preferred target とし、action 関連層のみを fine-tune (video は teacher-forced)。supervised relabeling と Diffusion-DPO の rectified-flow 適応を比較。最終的に preference supervision, supervised target fitting, Cartesian trajectory anchoring を組み合わせた DPO+SFT+DTW が最良。

closed-loop real-robot trials を pre-grasp, grasp, pick-and-place の3段階で評価。native action は約 17%, 10%, 7% 成功。復元 action gate は約 75%, 47%, 42%。DPO+SFT+DTW は training object (Oreo) で pre-grasp 90%, full-task 20%、held-out object で 80%, 30%。Plain Flow-DPO は validation preference accuracy 1.000 ながら成功率 0%。

Plain Flow-DPO が preference accuracy 1.000 でも成功率 0% であることから、contrastive objective 単独ではなく training objectives の組み合わせが性能向上を駆動すると考察。video-action asymmetry の存在と、生成 video を action 復元に活用する有効性を示唆。

Cosmos 3 (WAM の基盤モデル)、Diffusion-DPO、rectified-flow、LoRA fine-tune、inverse kinematics 関連の研究。特に Diffusion-DPO の rectified-flow 適応や、WAM の video-action asymmetry を扱う研究が次に読むべき候補。