手とシーンの相互作用2026/10/29arXiv:2610.40832

EgoHSI3R: 一人称動画からのオンライン4D手とシーン相互作用の再構成

EgoHSI3R: Online 4D Hand-Scene Interaction Reconstruction from Egocentric Video

一人称単眼動画から、カメラ運動・密なシーン形状・両手のMANO姿勢・手と物体の接触を単一のフィードフォワードネットワークで因果的に同時推定する手法を提案した。

詳しい要約

1. どんなもの？

- egocentric monocular video から hand・camera・scene を同一の 3D world で整合的に復元する online 4D hand-scene interaction reconstruction の統一 feed-forward framework - 単一 network で camera motion、dense scene geometry、world-space の両手 MANO、per-vertex hand contact を同時推定 - 因果的(causal)に動作する online 手法

2. 先行研究と比べてどこがすごい？

- 既存手法は camera-frame の hand か world-space の hand trajectory のいずれかに限定され、scene pointmaps や interaction 情報を jointly に復元しない - そうした specialized predictions から完全な reconstruction を作るには per-sequence optimization が必要だった - EgoHSI3R は単一 network で jointly 推定し、per-sequence optimization を不要にする - 因果的動作ながら ARCTIC で評価手法中 world-space hand joint error 最小、既存 world-space hand reconstruction pipeline より高速、camera/scene 精度も competitive

3. 技術・手法の肝は？

- 時間方向に幾何証拠を蓄積する recurrent scene representation を維持し、shared world space と scale を提供 - hand-centric prompts により pretrained hand priors と local scene context を融合 - MANO vertex queries が scene features に attend し、dense な per-vertex contact を予測 - これらにより camera motion・dense scene geometry・world-space bilateral MANO hands・per-vertex hand contact を単一 network で jointly 推定

4. どうやって有効だと検証した？

- ARCTIC 上で評価し、評価手法中 world-space hand joint error が最小 - 既存 world-space hand reconstruction pipeline より inference が高速であることを示す - camera および scene reconstruction 精度が competitive であることを報告 - 具体的な比較手法名やデータセット詳細は要旨からは不明

5. 議論はある？

- 因果的(online)動作でありながら高い hand joint 精度と高速推論を両立する点を主張 - per-sequence optimization を要さない統一 feed-forward 設計の有効性を示唆 - 限界・失敗事例・ablation の詳細は要旨からは不明

6. 次に読むべき論文は？

- ARCTIC dataset を用いた hand-object interaction reconstruction の関連研究 - world-space hand trajectory 推定や camera-frame hand 推定の既存手法 - MANO ベースの hand pose/contact 推定手法 - recurrent scene representation や pointmap ベースの scene reconstruction 手法 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingzhi Pei, Zhangchen Ye, Ruoqu Chen, Liu Cao, Mengdi Xu

分類: cs.CV

原文アブストラクト

Egocentric videos offer an abundant source of hand-scene interactions for embodied learning, which requires recovering hands, camera, and scene consistently in a shared 3D world. Existing methods focus on either camera-frame hands or world-space hand trajectories, without jointly recovering the scene pointmaps or interaction information. Building a complete reconstruction from such specialized predictions therefore typically requires per-sequence optimization. We propose EgoHSI3R, a unified feed-forward framework for online 4D hand-scene interaction reconstruction from egocentric monocular video. To jointly recover these components, it maintains a recurrent scene representation that accumulates geometric evidence over time and provides a shared world space and scale. We introduce hand-centric prompts that fuse pretrained hand priors and local scene context, while MANO vertex queries attend to scene features to predict dense per-vertex contact. These designs enable a single network to jointly estimate camera motion, dense scene geometry, world-space bilateral MANO hands, and per-vertex hand contact. Despite operating causally, EgoHSI3R achieves the lowest world-space hand joint error on ARCTIC among the evaluated methods, while offering faster inference than existing world-space hand reconstruction pipelines and competitive camera and scene reconstruction accuracy.

arXivで原文を読む →arXiv概要ページ

← 論文一覧