一人称視点/意図予測2026/10/20arXiv:2610.27877

視線を活用した一人称視点の手と物体のインタラクション予測

Gaze2HOI: Gaze-Aware Intention Disambiguation for Egocentric Hand-Object Interaction Forecasting

視線の固定強度と新しさで意図の曖昧さを減らし、接触位置を明示的に推定した上で拡散モデルにより物体軌道と両手の動きを同時生成する枠組みを提案した。

詳しい要約

1. どんなもの？

- 一人称視点(egocentric)の Hand-Object Interaction (HOI) を予測する枠組み Gaze2HOI を提案 - 注視(gaze)を意図の手がかりとして用い、意図推論→接触位置の接地→手と物体の運動生成という階層的問題として定式化 - AR/VR・embodied 応用での先回り支援を想定 - 評価用に phase-aware なベンチマーク EgoAIM も導入

2. 先行研究と比べてどこがすごい？

- 先行研究は履歴観測から直接 HOI を予測し、意図や接触幾何を暗黙のまま扱っていた - 類似した観測履歴でも意味的・幾何的に異なる未来があり得る点が課題 - 行動研究で gaze が意図の早期手がかりになる知見に着想し、gaze を明示的に活用 - 意図推論と運動予測の両方で state-of-the-art、特定 phase では oracle レベルの end-to-end 性能に迫ると報告

3. 技術・手法の肝は？

- Temporal Gaze Saliency Modulation (TGSM): fixation strength と recency で gaze cue を重み付けし、vision-language model (VLM) の視覚表現を変調して意図推論の意味的曖昧性を低減 - Anticipatory Contact Grounding (ACG): 構造化された意図を contact・support・placement field へ写像し幾何的曖昧性を緩和 - これらの明示的条件に駆動され、diffusion-based model が 6-DoF 物体軌道と両手の将来 articulated motion を同時生成

4. どうやって有効だと検証した？

- EgoAIM を新規導入: egocentric HOI を hand-object 関係の変化で4 phase に整理し、fine-grained な意図アノテーションを付与 - 意図推論と運動予測の両タスクで実験し state-of-the-art を達成 - 特定の interaction phase では oracle レベルの end-to-end 性能に接近 - 詳細な実験設定・比較手法は要旨からは不明

5. 議論はある？

- 類似履歴が異なる未来に至る曖昧性を gaze で解消する設計の有効性を示唆 - phase ごとに性能差があり、特定 phase で oracle 接近との記述があるが、限界や失敗要因の議論は要旨からは不明 - gaze 計測の前提や一般化性に関する議論は要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照/比較されている研究は明示されていない - 関連手法として vision-language model (VLM)、diffusion-based model、6-DoF object trajectory 生成、egocentric HOI forecasting の定番研究を次に読む候補として挙げる - ベンチマーク EgoAIM の詳細は project page (https://gaze2hoi.github.io/) を参照

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chuanyang Ma, Chenye Wang, Yixuan Wang, Huiling Zhou, Xingqun Qi, Muyi Sun, Man Zhang, Caifeng Shan, Zhenan Sun

分類: cs.CV

原文アブストラクト

Anticipating how users will interact with their surroundings is essential for proactive systems that provide timely assistance in AR, VR, and embodied applications. Prior work typically forecasts hand-object interactions directly from historical observations, leaving intention and contact geometry implicit. However, similar observation histories can precede semantically or geometrically distinct futures. Inspired by behavioral evidence that gaze can provide early cues for underlying intention, we propose Gaze2HOI, a gaze-aware framework that formulates hand-object interaction forecasting as a hierarchical problem comprising intention inference, contact grounding, and coupled hand-object motion generation. Specifically, Gaze2HOI first weights gaze cues by fixation strength and recency, and uses them to modulate the visual representations of a vision-language model (VLM) through Temporal Gaze Saliency Modulation (TGSM), thereby reducing semantic ambiguity in intention inference. Subsequently, an Anticipatory Contact Grounding (ACG) module maps these structured intentions into explicit contact, support, and placement fields, effectively mitigating geometric ambiguity. Driven by these explicit conditions, a diffusion-based model jointly generates the 6-DoF object trajectories and future articulated motion of both hands. To evaluate Gaze2HOI, we further introduce EgoAIM, a phase-aware benchmark that organizes egocentric hand-object interactions into four phases defined by evolving hand-object relations and provides fine-grained intention annotations. Extensive experiments demonstrate that Gaze2HOI achieves state-of-the-art performance in both intention inference and motion forecasting, even approaching oracle-level end-to-end performance in specific interaction phases. Project page: https://gaze2hoi.github.io/.

arXivで原文を読む →arXiv概要ページ

← 論文一覧