日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
ヒューマノイド制御arXiv:2610.32966

ViT-H: 動作追跡フィードバックによる生成的動画→ヒューマノイド制御

ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback

シェア:XThreadsFacebookLINEはてブBluesky

単眼の人間動画から拡散モデルで直接ヒューマノイドの参照動作を生成し、追跡結果で好み最適化して実行可能性を高める枠組みを提案。リアルタイム遠隔操作も実現。

詳しい要約

1. どんなもの?

- 単眼の人間動画から humanoid の全身制御を学習する枠組み - 従来の reconstruction-retargeting-tracking パイプラインを置き換える - generation-and-tracking パラダイムを採用 - 動画から humanoid の reference motion を直接生成する - diffusion model により生成 - human motion reconstruction と retargeting を経由しない - 生成器を motion-tracking の結果で post-train する - direct preference optimization を用いる - リアルタイム teleoperation 向けの autoregressive 変種も提案 - 400 ms 未満の latency を実現 - Unitree G1 上で評価

2. 先行研究と比べてどこがすごい?

- 従来の reconstruction-retargeting-tracking パイプラインとの比較 - 各 intermediate stage を別々に最適化するため system-level scalability が制限される - 下流の tracking feedback を reference motion の実行可能性の最適化に直接使えない - ViT-H の利点 - reconstruction と retargeting を省略し、動画から直接 humanoid reference motion を生成 - tracking 結果を preference として生成器に還元し、実行可能性を直接改善 - 実験結果 - motion quality と executability の両方で state-of-the-art の reconstruction-retargeting-tracking パイプラインを上回る - model size と pre-training/post-training data scale に対して良好にスケー…

3. 技術・手法の肝は?

- generation-and-tracking パラダイム - diffusion model で動画から humanoid reference motion を直接生成 - human motion reconstruction と retargeting をバイパス - motion-tracking feedback による post-training - tracking の結果を direct preference optimization に用いて生成器を更新 - reference motion の executability を下流の追従性能に基づいて最適化 - autoregressive 変種 - リアルタイム humanoid video teleoperation を可能にする - sub-400 ms latency を達成 - 詳細な architecture や loss 設計は要旨からは不明

4. どうやって有効だと検証した?

- Unitree G1 上での extensive experiments - motion quality と executability を評価 - state-of-the-art の reconstruction-retargeting-tracking パイプラインと比較し優位 - スケーリングの検証 - model size に対して良好にスケール - pre-training data scale と post-training data scale に対しても良好にスケール - motion-tracking feedback の効果検証 - 異なる motion tracker 間で executability を一貫して改善 - autoregressive 変種の latency 評価 - sub-400 ms の teleoperation を実証 - 定量指標や被験者実験の詳細は要旨からは不明

5. 議論はある?

- 示唆される利点 - 中間段階を分離最適化する従来パイプラインの system-level scalability の制約を回避 - tracking feedback を生成器に直接還元することで executability を改善 - 議論となりうる点 - 単眼動画由来の reference motion の品質と多様性の限界 - motion tracker 依存性と feedback の一般性(異なる tracker でも改善するとの記述あり) - autoregressive 変種の latency と制御品質のトレードオフ - 要旨からは不明な点 - 失敗事例、安全性、実機展開時の制約に関する議論は明示されていない

6. 次に読むべき論文は?

- 要旨で直接参照/比較されている研究 - reconstruction-retargeting-tracking パイプライン(具体的な論文名は要旨からは不明) - direct preference optimization - diffusion model による motion generation - 関連手法として挙げられるもの - human motion reconstruction - motion retargeting - motion tracking - autoregressive video teleoperation - 同分野の定番として次に読む候補 - humanoid whole-body control の強化学習・模倣学習に関する研究 - 単眼動画からの motion capture と retargeting に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zimo He, Tianyi Bian, Zizhong Yang, Hongjie Li, Nan Jiang, Jieming Cui, Baoxiong Jia, Yizhou Wang, Siyuan Huang, Yixin Zhu

分類: cs.RO, cs.CV

原文アブストラクト

Learning humanoid control from monocular human videos offers a scalable way to acquire diverse whole-body behaviors. Yet, existing reconstruction-retargeting-tracking pipelines are limited in system-level scalability by separately optimized intermediate stages and cannot directly optimize reference motion executability using downstream tracking feedback. We present ViT-H, a video-to-humanoid control framework following a generation-and-tracking paradigm. ViT-H directly generates humanoid reference motions from videos with a diffusion model, bypassing human motion reconstruction and retargeting, and uses motion-tracking outcomes to post-train the generator with direct preference optimization. We further introduce an autoregressive variant that enables real-time humanoid video teleoperation with sub-400 ms latency. Extensive experiments on the Unitree G1 demonstrate that ViT-H outperforms state-of-the-art reconstruction-retargeting-tracking pipelines in both motion quality and executability. We further show that ViT-H scales favorably with model size and with both pre-training and post-training data scale, while motion-tracking feedback consistently improves executability across different motion trackers.

関連論文

PR本紙発行元 EmplifAI