動画拡散モデルを手の動作再構築に応用 新手法ViDiHandを発表

何が起きたか

研究チームは2026年6月29日、動画拡散モデルの表現を利用して4Dの両手ポーズを再構築する手法ViDiHandを発表した。この手法は、画像ベースの手法が苦手とする重いオクルージョン下でも、検出器や補間処理、テスト時最適化なしで動作する。ARCTIC、HOT3D、HOI4Dの各データセットで従来手法を大幅に上回る性能を達成したとしている。

詳細

ViDiHandは、事前学習済みの動画拡散モデルを、手のオーバーレイ描画目的で適応させる。これにより、手に特化した特徴を獲得しつつ、世界に関する事前知識を保持する。その後、デコーダーが適応済み特徴からメートルスケールのポーズを復元する。パイプライン全体はフルフレームを直接処理し、検出器や補間処理、テスト時最適化を一切使用しない。

Key Facts

本紙の見方

今回の発表は、手の動作再構築という特定タスクに、動画生成モデルの内部表現を転用する点で新規性が高い。従来の画像ベース手法は検出器に依存し、オクルージョンで性能が低下する。一方、動画ベース手法は手のポーズ注釈という限られた信号から学習するため、動作ダイナミクスやオクルージョン推論、手と物体のインタラクションを十分にモデル化できなかった。動画拡散モデルは、インターネット規模の動画を生成する過程で、これらの能力を暗黙的に獲得していると研究チームは指摘する。この点が、ViDiHandが従来手法を上回る性能を達成した理由とみられる。 本手法は、検出器や補間処理、テスト時最適化を不要にすることで、パイプラインを簡素化した。これは、実世界の視線動画への適用を容易にし、スケーラブルなデータ収集への道を開く可能性がある。特に、身体動作の理解が求められる具現化AI（embodied AI）の分野では、大規模な実データが学習に不可欠であり、本手法はその収集コストを下げる手段として注目される。 一方で、本手法は動画拡散モデルの事前学習に依存しており、その計算コストや推論速度は実用上の課題となる可能性がある。また、ARCTIC、HOT3D、HOI4Dの各ベンチマークでの性能は報告されているが、実環境での汎化性能や、多様な手の形状・照明条件への頑健性は未検証の部分が多い。今後は、これらのデータセット以外での評価や、実応用に向けた推論の高速化が焦点になるとみられる。

なぜ重要か

動画生成モデルが、単なる生成タスクを超えて、身体動作の理解という認識タスクの基盤として機能することを示した点で、具現化AIの研究開発に新たな選択肢を提供する。手の動作再構築の精度向上は、ロボットの模倣学習や人間とロボットのインタラクション、VR/ARアプリケーションなど幅広い分野に影響を与える可能性がある。