一人称視点/手動作推定2026/10/21arXiv:2610.29936

DewHand: 一人称動画からの直接的なメートル空間手動作再構成

DewHand: Direct Metric World-Space Hand Motion Reconstruction from Egocentric Videos

一人称視点動画から手とカメラの動きを単一ステージで共同推定し、フローマッチングによる生成で遮蔽や画面外の手も扱いながらメートルスケールの世界座標での手動作を再構成する手法。

詳しい要約

1. どんなもの？

- egocentric video から metric な world-space の手とカメラの動きを直接再構成する統合モデル DewHand を提案 - 手とカメラの動きを単一 stage で jointly に予測し、共有 world 座標系で出力 - 対象課題は multi-stage pipeline の誤差伝播、単眼観測の scale 曖昧性、occlusion/out-of-view による軌道の多義性 - HOT3D と ARCTIC で評価し、zero-shot で HoloAssist、H2O、TACO にも適用

2. 先行研究と比べてどこがすごい？

- 従来の multi-stage pipeline は hand motion と camera motion を独立推定するため誤差が累積 - DewHand は単一 stage で hand と camera を共有 world 座標系で jointly 予測し、誤差伝播を回避 - StableHand と比較し rigid-aligned world-space error を HOT3D で 32.9→28.4 mm、ARCTIC で 76.2→36.2 mm に低減 - camera scale を HOT3D clip の 2/3 で 10% 以内に復元（SLAM は約 1/4） - zero-shot 評価の HoloAssist、H2O、TACO で WA-MPJPE が最小

3. 技術・手法の肝は？

- 単一 stage pipeline で hand motion と camera motion を shared world coordinate system 上で jointly 予測 - metric-scale 曖昧性に対し、VGGT-$Ω$ の scene-level geometric features と metric-space supervision を組み合わせ - hand-specific features により fine-grained articulation を保持 - occlusion と out-of-view の手に対し、再構成を conditional motion generation として定式化し flow matching を使用 - 同一 architecture で generative formulation が direct regression を accuracy と temporal smoothness で上回り、sampling は 2 step のみ

4. どうやって有効だと検証した？

- HOT3D と ARCTIC で world-space accuracy と temporal consistency を state-of-the-art 手法と比較 - rigid-aligned world-space error の改善を StableHand との比較で報告 - camera scale の復元精度を SLAM と比較（10% 以内の clip 割合） - HoloAssist、H2O、TACO への zero-shot 評価を異なる device で実施し、WA-MPJPE を比較 - generative formulation と direct regression の比較、sampling step 数の検討を含む

5. 議論はある？

- occlusion や out-of-view の手では複数の plausible な motion trajectory が存在し、生成として扱う必要性を議論 - metric-scale の曖昧性に対し scene-level geometry と metric supervision の組み合わせが有効と主張 - 単一 stage の jointly 予測が multi-stage の誤差伝播を避ける点を利点として議論 - 限界や失敗事例、計算コスト、一般化の範囲についての詳細は要旨からは不明

6. 次に読むべき論文は？

- StableHand（比較対象の hand motion reconstruction 手法） - VGGT-$Ω$（scene-level geometric features の基盤） - SLAM（camera scale 比較の参照手法） - flow matching を用いた conditional motion generation の関連研究 - HOT3D、ARCTIC、HoloAssist、H2O、TACO のデータセット論文

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Naru Suzuki, Satoshi Ikehata, Takehiko Ohkawa, Yoichi Sato, Shuhei Kurita

分類: cs.CV

原文アブストラクト

Recovering metric world-space hand motion from egocentric video supports understanding human interactions and transferring them to embodied agents. Three challenges complicate this task: multi-stage pipelines propagate errors from independently estimated hand and camera motion; monocular observations leave physical scale ambiguous; and occlusion and out-of-view hands admit multiple plausible motion trajectories. We present DewHand, a unified model for direct joint reconstruction of world-space hand and camera motion. To avoid compounding errors from multi-stage estimation, DewHand jointly predicts hand and camera motion in a shared world coordinate system within a single-stage pipeline. To resolve metric-scale ambiguity, it combines scene-level geometric features from VGGT-$Ω$ with metric-space supervision, while hand-specific features preserve fine-grained articulation. To handle occlusion and out-of-view hands, we formulate reconstruction as conditional motion generation with flow matching. Under the same architecture, this generative formulation outperforms direct regression in both accuracy and temporal smoothness with only two sampling steps. Experiments on HOT3D and ARCTIC demonstrate improved world-space accuracy and temporal consistency over state-of-the-art methods. DewHand reduces rigid-aligned world-space error relative to StableHand from 32.9 to 28.4 mm on HOT3D and from 76.2 to 36.2 mm on ARCTIC. It also recovers camera scale within 10% on two thirds of HOT3D clips, versus about a quarter for SLAM. Moreover, in zero-shot evaluations on HoloAssist, H2O, and TACO, captured with different devices, DewHand achieves the lowest rigid-aligned world-space error (WA-MPJPE) on each dataset.

arXivで原文を読む →arXiv概要ページ

← 論文一覧