動作予測2026/9/8arXiv:2609.08636

どこからどのようにへ：自己中心視点ビデオからの連続4Dインタラクション予測

From Where to How: Continuous 4D Interaction Forecasting from Egocentric Video

自己中心視点ビデオから将来の3Dインタラクション位置と全身動作を連続的に予測する手法を提案し、大規模データセットと評価指標も導入した。

詳しい要約

1. どんなもの？

本論文は、Egocentric 4D interaction forecasting（自己中心視点映像からの4次元インタラクション予測）を扱う。将来のインタラクションが3D空間のどこで発生するか（where）と、人間の身体がどのように動くか（how）を連続的に予測することを目的とする。大規模データセットCoherent4Dと、予測フレームワークHIGFlowを提案している。

2. 先行研究と比べてどこがすごい？

既存手法は、意味理解を正確な連続3D位置特定に変換することや、ポーズ予測における動作の多様性と構造的一貫性のバランスを取ることが困難であり、さらに、インタラクション位置と身体動作の予測が別々にモデル化されることが多く、両者の連続的な幾何学的・時間的対応が不十分だった。本論文は、位置とポーズを時間的に整合させた共有座標系のデータセットを構築し、where-to-howのカスケード過程として統一的にモデル化する点が新しい。

3. 技術・手法の肝は？

HIGFlowは、まず意味的接地と短期的視覚ダイナミクスを組み合わせて将来の連続インタラクション位置を予測し、次に予測された位置系列を用いて決定論的なモーションアンカーとResidual Flow Matchingを条件付け、多様でありながら構造的に一貫した全身動作予測を行う。

4. どうやって有効だと検証した？

3つのドメインにわたる大規模データセットCoherent4D（約233Kサンプル）を用いて、位置予測とポーズ予測の両方で代表的なベースラインと比較し、一貫した改善を示した。また、アブレーション実験により提案コンポーネントの寄与を検証した。

5. 議論はある？

要旨からは、提案手法の限界や倫理的考察などの議論は不明。ただし、連続空間での評価指標を提供している点や、データセットの規模・多様性が今後の研究の基盤となる可能性が示唆される。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、Egocentric 4D interaction forecastingの分野では、Ego4DやEgo-Exo4Dなどの大規模egocentricデータセット、および動作予測におけるFlow Matchingや拡散モデルを用いた手法が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiaohui Chu, Haoyu Zhang, Meng Liu, Haoxiang Shi, Dongmei Jiang, Liqiang Nie

分類: cs.CV, cs.AI

原文アブストラクト

Egocentric 4D interaction forecasting aims to anticipate both where future interactions will occur in 3D and how the human body will move to realize them, providing an important capability for assistive robotics and human-computer interaction. Existing methods struggle to translate semantic understanding into precise continuous 3D localization and to balance motion diversity with structural consistency in pose forecasting. More fundamentally, these tasks are often modeled separately, leaving the continuous geometric and temporal correspondence between interaction locations and body motion insufficiently captured. To address these challenges, we introduce Coherent4D, a large-scale egocentric dataset for continuous 4D interaction forecasting, comprising approximately 233K samples across three domains. Each sample pairs a sequence of future 3D interaction locations with corresponding full-body poses, aligned in time and expressed in a shared coordinate system. We also provide evaluation metrics in continuous space. Building on this formulation, we propose HIGFlow, a Hand Interaction Guided Residual Flow framework that models forecasting as a cascaded where-to-how process. HIGFlow first forecasts continuous future interaction locations by combining semantic grounding with short-horizon visual dynamics, and then uses the predicted location sequence to condition a deterministic motion anchor and residual Flow Matching for diverse yet structurally consistent full-body motion forecasting. Extensive experiments across all three domains demonstrate consistent improvements over representative baselines on both location and pose forecasting, while ablations validate the contributions of the proposed components. The project page is available at https://corrineqiu.github.io/from-where-to-how/.

arXivで原文を読む →arXiv概要ページ