ACE-Ego-Hand: ビデオ拡散モデルを転用した、遮蔽に頑健な自己中心視点3D手の動き復元

本論文は、拡散モデルを利用した、オクルージョンに頑健な自己中心視点の3Dハンドモーションリカバリ手法を提案する。従来の単一フレームやウィンドウベースの回帰手法は、手がフレームから外れると失敗するが、提案手法はビデオ拡散モデルを決定論的なジオメトリエンコーダとして再利用し、クリーンな潜在表現への単一のフォワードパスで、オクルードやフレーム外の手を含むシーンコンテンツを抽出する。オフラインのクリップレベルフレームワークであるDreamHandは、Deterministic Clean-Latent EncoderとBidirectional Spatiotemporal Decoderを用いて、連続的な両手の軌跡をメトリック配置で復元し、外部検出器を必要としない。また、Ray-Based Camera Solverにより、テスト時のカメラ内部パラメータを必要としない設定もサポートする。

既存の単一フレームやウィンドウベースの時間回帰手法は、手がフレームから外れると失敗する。また、最近のビデオ拡散モデルは、ピクセル空間のレンダラーとして重く確率的な多段階サンプリングに依存する。提案手法は、VDMを決定論的なジオメトリエンコーダとして再利用することで、単一のフォワードパスでオクルードやフレーム外の手を扱える点が新しい。さらに、外部検出器やテスト時のカメラ内部パラメータを必要としない点も優れている。

手法の肝は、ビデオ拡散モデルを決定論的なジオメトリエンコーダとして再利用すること。具体的には、クリーンな潜在表現への単一のフォワードパスで、現在の観測を超えたシーンコンテンツを抽出する。抽出した特徴は、Bidirectional Spatiotemporal Decoderでデコードされ、連続的な両手の軌跡をメトリック配置で復元する。また、Ray-Based Camera Solverにより、テスト時のカメラ内部パラメータを必要としない設定を実現する。

5つの自己中心視点ベンチマークで評価し、新しいSOTAを達成。オクルージョンが多いARCTICでMPJPE-pを30%、HOT3Dで40%削減。フレーム外の手を含む評価では、改善率は46%から61%に達した。

要旨からは、提案手法の限界や議論についての詳細は不明。ただし、オフラインのクリップレベルフレームワークであるため、リアルタイム適用には課題がある可能性が考えられる。また、ビデオ拡散モデルをエンコーダとして再利用する際の計算コストや、他のタスクへの適用可能性については議論の余地がある。

要旨で参照されている研究は明示されていないが、関連する分野として、ビデオ拡散モデル（Video Diffusion Models）、自己中心視点のハンドトラッキング、オクルージョンロバストな3Dハンドリカバリの研究が挙げられる。具体的には、HOT3DやARCTICデータセットを用いた研究や、拡散モデルを利用した3Dハンドリカバリの先行研究を読むことが推奨される。