自己中心視点予測2026/9/16arXiv:2609.18548

HAP: 手駆動型能動的知覚による自己中心視点の頭部運動予測フレームワーク

HAP: A Hand-Driven Active Perception Framework for Egocentric Head Motion Prediction

手の動きと対象物の遮蔽関係から将来の頭部6自由度運動を予測する枠組みHAPを提案し、新データセットBottleで既存手法より高精度を示した。

詳しい要約

1. どんなもの？

- Egocentric な6-DoF head motion prediction を扱う研究。 - 観測された hand motion と推定される target context を条件に、将来の head motion を予測する。 - HAP (Hand-Driven Active Perception) というフレームワークを提案。 - 新規データセット Bottle (egocentric RGB-D, 対象物操作, 頭と手の協調運動, 対象可視性変化) を導入。

2. 先行研究と比べてどこがすごい？

- 従来の egocentric motion forecasting は hands と manipulated objects に主眼。 - 将来の head motion は比較的未探索だった。 - HAP は hand-driven intention と dynamic occlusion reasoning の価値を示す。 - 公開データセットと Bottle で代表ベースラインより低い head motion prediction error を達成。

3. 技術・手法の肝は？

- 観測 hand motion と object geometry から各 target object の confidence を推定。 - 動的な Predictive Target-Centric Amodal Occlusion Graph (P-TAOG) を構築。 - 候補物体間の現在および潜在的な occlusion を表現。 - directed graph と causal temporal reasoning で evolving target conditioned perceptual state を符号化。 - hand と head の motion history と融合。 - horizon-wise gate で学習軌跡と constant velocity prior をブレンド。

4. どうやって有効だと検証した？

- 公開データセットと新規 Bottle データセットで実験。 - HAP が代表ベースラインより低い head motion prediction error を達成。 - これにより hand driven intention と dynamic occlusion reasoning の有効性を支持。 - 詳細な評価指標やアブレーションは要旨からは不明。

5. 議論はある？

- hand driven intention と dynamic occlusion reasoning が head motion 予測に有用と主張。 - 限界や失敗事例、計算コスト、一般化性の議論は要旨からは不明。 - コード公開予定 (https://HAP-ego.github.io/HAP)。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として egocentric motion forecasting, hand motion prediction, 6-DoF head motion prediction, occlusion reasoning, graph neural networks などが挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yunji Feng, Junyi Ma, Guanzhong Sun, Chenyang Xu, Hesheng Wang

分類: cs.CV, cs.RO

原文アブストラクト

Egocentric motion forecasting has primarily focused on hands and manipulated objects, leaving future human head motion comparatively underexplored. During manipulation, the head both redirects perception toward the target to acquire task-relevant evidence and coordinates with body and hand motion. We therefore formulate future six Degree of Freedom (6-DoF) head-motion prediction conditioned on observed hand motion and inferred target context, and propose HAP, a Hand-Driven Active Perception framework. HAP infers confidence for each target object from observed hand motion and object geometry. Then constructs a dynamic Predictive Target-Centric Amodal Occlusion Graph (P-TAOG) representing current and potential occlusion among candidate objects. Directed graph and causal temporal reasoning encode the evolving target conditioned perceptual state, which is fused with hand and head motion history. A horizon-wise gate then blends the learned trajectory with a constant velocity prior. We further introduce Bottle, an egocentric RGB-D dataset of object manipulation toward specified targets, with coordinated head and hand motion under changing target visibility. Experiments on the public dataset and Bottle show that HAP achieves lower head motion prediction errors than representative baselines, supporting the value of hand driven intention and dynamic occlusion reasoning for anticipating human head motion. Code will be released at https://HAP-ego.github.io/HAP.

arXivで原文を読む →arXiv概要ページ

← 論文一覧