高速・高精度な手の推定：ピクセル・インタラクション・ワールド空間

- 単眼画像から手のメッシュ・2D/3D関節・表面点を推定するモデル群 FAH (Fast and Accurate Hand Estimation) - SAM 3D Body の hand branch を fine-tuning と feature distillation で再構築したモデルファミリー - 予測した 2D/3D joints と surface points から MANO または MHR-Hand を fit する - 任意で anatomical parts と contact を物体 geometry なしで推定 - causal refinement で acceleration error を低減し、camera estimation で world space に手を配置 - ViT-L と ViT-S のサイズ展開がある

- 従来の monocular hand mesh estimator は rig parameters を予測して mesh を投影し 2D keypoints を得る方式が主流 - 本研究は直接予測した 3D joints の方が 2D 予測とよく一致することを見出した点が差異 - 予測点に mesh を fit することで mesh error が低減することを示す - 評価ベースラインに対し image-space alignment、hand geometry、contact estimation、world-space tracking で改善 - 推論時に物体 geometry を必要とせず contact を推定できる点も特徴

- SAM 3D Body の hand branch を fine-tuning と feature distillation で適応 - 2D/3D joints と surface points を対応付けて予測し、MANO または MHR-Hand に fit - 任意で anatomical parts と contact を推定(推論時に物体 geometry 不要) - causal refinement により acceleration error を低減 - camera estimation により手を world space に配置 - ViT-L と ViT-S の backbone サイズを用意

- 評価ベースラインとの比較実験を実施 - image-space alignment、hand geometry、contact estimation、world-space tracking の改善を報告 - 速度検証: ViT-L は mesh fitting ありで RTX 4070 Ti SUPER 上 65 fps、parts と contact 有効で 49 fps - ViT-S は mesh fitting・parts・contact なしで 125 fps - 具体的なデータセット名や評価指標の詳細は要旨からは不明

- 直接予測 3D joints が 2D 予測とよく一致するという観察と、点への mesh fit が誤差を下げる知見が議論の中心 - 物体 geometry なしでの contact 推定の妥当性や限界は要旨からは不明 - causal refinement や camera estimation の詳細な誤差特性は要旨からは不明 - 速度と精度のトレードオフ(ViT-L と ViT-S)は示されるが、詳細な議論は要旨からは不明

- SAM 3D Body(hand branch の基盤) - MANO(hand model) - MHR-Hand(hand model) - monocular hand mesh estimation の従来手法(rig parameter 予測型) - feature distillation 関連手法 - 具体的な比較ベースライン名は要旨からは不明