自己中心視点/3D再構成2026/10/19arXiv:2610.26625

EgoXperience: 人間の体験から世界に接地した自己中心表現を学習する

EgoXperience: Learning World-Grounded Egocentric Representations from Human Experience

自己中心視点の動画から、カメラ・周囲の3D形状・手と物体の相互作用を一貫した世界座標系で同時再構成するデータ収集・自動注釈・統一モデル・ベンチマークの枠組みを提案した論文。

詳しい要約

1. どんなもの？

- 一人称視点（egocentric）動画から、観測者の動き・周囲のgeometry・hand-object interactionを一貫したworld coordinate frameで再構成するためのfull-stack paradigm。 - データ収集、自動annotation、統一modeling、benchmarkingを包含する。 - 中核は自動annotation engine「EgoX-Engine」、50時間のdataset「EgoX-Data-6M」、評価用「EgoX-Bench」、再構成model「EgoX」から成る。

2. 先行研究と比べてどこがすごい？

- 既存手法・datasetはjoint reconstructionとaligned supervisionの両面で支援が限定的であったと述べられている。 - EgoXperienceはdata collectionからannotation、modeling、benchmarkまでを一貫して整備する点が特徴。 - EgoXは単一forward passでcamera・scene・hands・objectsのjoint metric reconstructionを実現し、scene estimationとworld-space hand-object pose recoveryでstate-of-the-artと報告。

3. 技術・手法の肝は？

- EgoX-Engineがgeometrically verified object trackingとSLAM-based world alignmentを組み合わせ、camera・scene・hands・objectsに対する一貫したsupervisionを生成。 - EgoX-Data-6Mは屋内・屋外を跨ぐtask-driven manipulationとlocomotionを含み、second-level task captionsを付与。 - EgoXはmonocular egocentric videoとfirst-frame object masksを入力とし、shared world coordinate frame内でjoint metric reconstructionを単一forward passで行う。

4. どうやって有効だと検証した？

- EgoX-Benchとしてactivity category横断で1時間分を選定し、joint reconstructionを評価。 - scene estimationとworld-space hand-object pose recoveryに関する広範な実験を実施。 - 最強の比較baselineに対しcamera error 68.9%減、hand error 65.6%減、depth error 42.9%減、object pose score 28.0%改善を報告。

5. 議論はある？

- 要旨からは不明（限界やfailure case、annotation engineの誤り伝播、datasetの偏り等についての議論は要旨に明記されていない）。

6. 次に読むべき論文は？

- 要旨で参照・比較されている具体的な先行研究名は記載がないため特定不可。 - 関連手法としてSLAM、egocentric videoからのhand-object interaction reconstruction、joint scene reconstruction、world-space pose estimationの代表的研究を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinhao Ji, Hui En Pang, Hao Li, Kairui Hu, Jiner Wang, Mingze Sun, Ziang Cao, Yalun Dai, Thang Luu, Qin Ma, Hongyi Chen, Yukang Cao, Fangzhou Hong, Zhaoxi Chen, Ziwei Liu

分類: cs.CV

原文アブストラクト

Reconstructing human activity from egocentric video requires more than recovering individual 3D components: the observer's motion, surrounding geometry, and hand-object interactions must fit together in a consistent world. Achieving this coherence requires both joint reconstruction and aligned supervision, yet existing methods and datasets offer limited support for either. We present EgoXperience, a full-stack paradigm that addresses these needs through data collection, automatic annotation, unified modeling, and benchmarking. Central to EgoXperience is an automatic annotation engine, EgoX-Engine, that couples geometrically verified object tracking with SLAM-based world alignment, yielding consistent supervision for the camera, scene, hands, and objects. This yields EgoX-Data-6M, a 50-hour dataset of task-driven manipulation and locomotion within and across indoor and outdoor environments, with second-level task captions. We carefully select one hour across these activity categories as EgoX-Bench to evaluate joint reconstruction. To translate this supervision into reconstruction, we introduce EgoX, trained with EgoX-Data-6M and complementary annotations from additional public datasets. Given monocular egocentric video and first-frame object masks, our model achieves joint metric reconstruction of the camera, scene, hands, and objects in a shared world coordinate frame with a single forward pass. Extensive experiments demonstrate state-of-the-art performance across scene estimation and world-space hand-object pose recovery. Against the strongest evaluated baselines, EgoX reduces camera, hand, and depth errors by 68.9%, 65.6%, and 42.9%, and improves object pose scores by 28.0%.

arXivで原文を読む →arXiv概要ページ

← 論文一覧