一人称視点・3D再構築2026/11/1arXiv:2611.01627

EgoMo3R: 一人称視点の身体動作と周囲環境の同時再構築

EgoMo3R: Joint Egocentric Motion and Scene Reconstruction

一人称動画から、頭部の激しい動きやブレがあっても、人の3D動作と周囲のシーン形状を同時に復元する最適化フレームワークを提案。

詳しい要約

1. どんなもの？

- 一人称視点（egocentric）動画から、3D human motion と周囲の scene geometry を同時に再構成する統合最適化フレームワーク EgoMo3R を提案する研究。 - AR/VR や robotics への応用を動機とし、従来は別々に扱われていた motion reconstruction と scene reconstruction を jointly に解く。 - 入力は casual な monocular egocentric video であり、inertial sensors による metric・gravity-aligned な camera trajectory を前提としない点が特徴。

2. 先行研究と比べてどこがすごい？

- 既存手法は egocentric motion と scene を別々に扱っており、両者の結合を活かしていない。 - 従来の egocentric motion reconstruction は、特殊な inertial sensors から得られる metric・gravity-aligned な camera trajectory を仮定することが多い。 - EgoMo3R は monocular egocentric video のみから trajectory を含めて再構成し、rapid head movements や motion blur がある highly dynamic な系列でも specialized baselines を上回ると報告。

3. 技術・手法の肝は？

- monocular depth、optical flow、point tracks といった low-level visuo-geometric primitives の頑健性を活用する。 - diffusion-based human motion prior を first-order optimization に統合する joint optimization framework を構成。 - alternating optimization scheme により相乗的な feedback loop を作る：scene reconstruction が motion prior に physical grounding と trajectory conditioning を与え、motion prior が camera trajectory を正則化し scene を metric・gravity-aligned な world frame に固定する。

4. どうやって有効だと検証した？

- EgoExo4D と Nymeria の highly dynamic な sequences で評価。 - 3D scene reconstruction と egocentric motion estimation の両方で、specialized baselines を上回ることを示した。 - 具体的な評価指標や ablation の詳細は要旨からは不明。

5. 議論はある？

- 要旨からは不明。 - ただし highly dynamic な egocentric video における rapid head movements と motion blur が monocular trajectory 復元の課題であると述べており、そうした困難な条件への対処が議論の背景にある。

6. 次に読むべき論文は？

- EgoExo4D（評価データセット） - Nymeria（評価データセット） - diffusion-based human motion prior に関する研究 - monocular depth、optical flow、point tracks などの visuo-geometric primitives に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chaitanya Patel, Yusuke Kato, Rin Takahira, Kazuki Kozuka, Juan Carlos Niebles, Ehsan Adeli

分類: cs.CV, cs.AI

原文アブストラクト

Understanding holistic 3D human motion and the surrounding environment from egocentric video is fundamental for applications in AR/VR and robotics. Although these tasks are inherently coupled, existing methods treat them separately. In particular, egocentric motion reconstruction methods typically assume access to metric, gravity-aligned camera trajectories from specialized inertial sensors. Recovering such trajectories from monocular egocentric video remains a significant challenge due to rapid head movements and motion blur. We present EgoMo3R, a joint optimization framework that simultaneously reconstructs 3D human motion and scene geometry from casual egocentric video. It leverages the robustness of low-level visuo-geometric primitives, including monocular depth, optical flow, and point tracks, integrated with a diffusion-based human motion prior via first-order optimization. We propose an alternating optimization scheme that establishes a synergistic feedback loop: scene reconstruction provides physical grounding and trajectory conditioning for the motion prior, while the motion prior regularizes the camera trajectory and anchors the scene in a metric, gravity-aligned world frame. We evaluate EgoMo3R on the highly dynamic sequences of the EgoExo4D and Nymeria datasets and show that it outperforms specialized baselines in both 3D scene reconstruction and egocentric motion estimation.

arXivで原文を読む →arXiv概要ページ

← 論文一覧