DreamHand: ビデオ拡散モデルを転用した、遮蔽に頑健な自己中心視点3D手動作復元

本論文は、Egocentric videoから3D手の動きを復元するためのフレームワーク「DreamHand」を提案している。既存の手法は、手がオブジェクトに隠れたり、フレーム外に出たりする状況で失敗するが、DreamHandはVideo Diffusion Models (VDMs)を決定論的なジオメトリエンコーダとして再利用し、単一のフォワードパスでクリーンな潜在表現からシーン内容を抽出することで、オクルージョンやフレーム外の手も含めた連続的な両手の軌跡をメトリック配置で復元する。外部検出器を必要とせず、Ray-Based Camera Solverによりテスト時のカメラ内部パラメータも不要な構成も提供する。

既存の単一フレームやウィンドウベースの時間回帰器は、手がフレームから短時間外れると失敗する。また、最近のVDMsはピクセル空間レンダラーとして重く確率的な多段階サンプリングに依存している。DreamHandはVDMを決定論的なジオメトリエンコーダに転用し、単一フォワードパスでクリーンな潜在表現からシーン内容を抽出することで、オクルージョンやフレーム外の手を扱える点が新しい。さらに、外部検出器やテスト時のカメラ内部パラメータを不要にする点も優れている。

DreamHandはオフラインのクリップレベルフレームワークで、Deterministic Clean-Latent Encoderを用いてVDMのクリーンな潜在表現から特徴を抽出し、Bidirectional Spatiotemporal Decoderでそれらをデコードする。これにより、現在の観測を超えたシーン内容（オクルージョンやフレーム外の手）を露出させる。また、Ray-Based Camera Solverを導入し、テスト時のカメラ内部パラメータを必要としない構成も提供する。

5つのEgocentricベンチマークで評価し、新しいSOTAを達成。オクルージョンが多いARCTICでMPJPE-pを30%、HOT3Dで40%削減。さらに、フレーム外の手を評価に含めると、改善は46%から61%に達する。

要旨からは、提案手法の限界や議論についての詳細は不明。ただし、VDMを決定論的エンコーダとして使うことの理論的正当性や、オフライン処理の制約（リアルタイム性）などが議論の対象になる可能性がある。

要旨で参照されている研究は明示されていないが、関連手法としてVideo Diffusion Models (VDMs)や、Egocentric 3D hand recoveryの既存研究（単一フレーム回帰器、時間回帰器）が挙げられる。具体的には、ARCTICやHOT3Dデータセットを用いた研究や、VDMを利用した他のタスクへの応用論文が関連する。