MEgoVista: 実環境におけるメートル単位の4D手・頭部動作推定のための多視点自己中心運動推定

- 単一の未準備な MEgo View 録画から、metric な両手と頭の動きを重力整合した単一の world frame で推定する offline pipeline。 - 3つの特徴: (1) studio volume や tabletop rig が届かない環境で再構成し、detection 時に hand ownership を確定して bystander の手を wearer の trajectory から除外する。(2) metric gauge を monocular prior ではなく calibrated stereo から取得し、初期化時に scale を導入して policy が物理単位を受け取れるようにする。(3) 両出力を motion-capture volume 内で独立した Chingmu optical capture に対して採点する。 - 自己の reference を監査し、手法が予測を拒否した分も課金する protocol の下で評価する。 - egocentric video から metric hand supervision への計…

- 従来の metric hand label は studio rig と instrumented headset に由来し、どちらも準備された設定を出られず、独立した reference に対して検証されないという2点で制約されていた。 - 制約のない head-worn recording は逆のトレードオフを約束し、デバイスを装着する人数に応じてスケールする。 - MEgoVista は既存の egocentric reconstruction system と比べて、studio volume や tabletop rig が到達できない設定で再構成できる点、calibrated stereo から metric gauge を得る点、独立した Chingmu optical capture に対して両出力を採点する点で異なる。

- 単一の未準備な MEgo View 録画を入力とし、offline pipeline で metric な両手と頭の動きを重力整合した単一の world frame で推定する。 - detection 時に hand ownership を確定し、bystander の手を wearer の trajectory から除外する。 - metric gauge を calibrated stereo から取得し、monocular prior ではなく初期化時に scale を導入する。 - 出力は motion-capture volume 内で独立した Chingmu optical capture に対して採点される。 - 評価 protocol は自己の reference を監査し、手法が予測を拒否した分も課金する。

- 両出力を motion-capture volume 内で独立した Chingmu optical capture に対して採点する。 - 評価 protocol は自己の reference を監査し、手法が予測を拒否した分も課金する。 - 具体的な数値結果や比較対象の詳細は要旨からは不明。

- 要旨からは不明。制約や限界についての明示的な議論は要旨に記載されていない。

- 要旨で参照/比較されている研究: studio rigs、instrumented headsets、既存の egocentric reconstruction systems、Chingmu optical capture。 - 関連手法として、monocular prior を用いた metric hand reconstruction、tabletop rig による manipulation learning、egocentric video からの hand-motion reconstruction が挙げられる。 - 同分野の定番として、MANO hand model、SMPL body model、egocentric hand pose estimation、multi-view stereo などが次に読むべき候補。