動画からヒューマノイド動作を生成するViT-H、追跡結果で生成器を最適化

何が起きたか

論文「ViT-H: Generative Video-To-Humanoid Control with Motion Tracking Feedback」は、2026年10月23日にarXivで公開された。単眼の人物動画から拡散モデルでヒューマノイドの参照動作を直接生成し、動作追跡の結果を使って生成器を直接選好最適化（DPO）で追加学習する枠組みを提案した。Unitree G1を使った実験では、既存の再構成・リターゲティング・追跡を組み合わせる手法に対し、動作品質と実行可能性で優れたと報告している。

詳細

ViT-Hは、人の動作を再構成してロボット向けにリターゲティングする中間工程を介さず、動画からヒューマノイドの参照動作を生成する。生成後の動作追跡の結果を、生成器の追加学習に用いる。論文は、異なる動作トラッカーでも追跡フィードバックが実行可能性を高めたとしている。 自己回帰型の変種は、ヒューマノイドのリアルタイム動画遠隔操作を可能にし、遅延は400 ms未満と報告された。論文は、モデルサイズと事前学習・追加学習データの規模に応じて性能が伸びる傾向も示した。これらの結果はUnitree G1での実験に基づく。

Key Facts

本紙の見方

ViT-Hの焦点は、人物動画からロボット動作を作る工程を、再構成・リターゲティング・追跡の個別最適化から、生成と追跡結果を結び付ける構成へ移した点にある。新規性は動画を入力にすることだけではない。生成した動作がロボットでどの程度実行できたかを、生成器の追加学習に戻す仕組みを組み込んだことにある。一方、動画から動作を作る研究自体の新規性や、個々の中間処理がどの程度不要になるかは、この要旨だけからは評価できない。 この設計では、追跡結果が単なる実行時の評価でなく、生成動作を選ぶ学習信号となる。追跡器を変えても実行可能性が改善したという報告は、特定の追跡器だけに依存しない可能性を示す材料だ。ただし、改善の程度や各トラッカーの条件は要旨に記されていない。実験対象もUnitree G1であり、他の機体や異なる身体構造で同じ結果が得られるとは示されていない。 自己回帰型の変種は遠隔操作に用いられ、遅延は400 ms未満とされた。これは、事前に動作を生成して追跡する用途と、動画入力に応じて動作を更新する用途を、同じ枠組みの中で分けて扱う構成と読める。ただし、遅延が映像入力からロボット側の動作出力までのどの区間を測ったものか、通信や制御系を含むかは要旨から判別できず、実運用の応答性と同一視できない。 また、モデルサイズと事前学習・追加学習データの規模に応じて拡張性があるとの報告は、性能がモデルだけでなく学習データと追跡フィードバックの組み合わせに関わることを示す。学習データの種類や規模、動作品質・実行可能性の評価方法、比較実験の条件が分からなければ、どの要素が改善に寄与したかは切り分けにくい。次に確認すべきなのは、400 ms未満という遅延の計測範囲、実験の動作数と成功条件、データ規模ごとの評価結果、G1以外での検証である。これらが分かれば、提案手法の有効範囲と、動画から生成した動作を実機に適用する際の制約をより具体的に判断できる。

なぜ重要か

論文の枠組みは、人物動画から参照動作を生成するだけでなく、ロボットでの追跡結果を生成器の追加学習に使う点で、動作の生成と実行可能性の評価を結び付ける。論文が報告したUnitree G1での結果と400 ms未満の遠隔操作は、この手法を評価する際に、動作品質だけでなく実機での実行可能性と遅延を併せて見る必要があることを示す。