接触・力推定2026/8/13arXiv:2608.13014v1

EgoPHI: 一人称視点からの接触と力の推定

EgoPHI: Estimating Contact and Force from Egocentric Vision

シェア:X Threads Facebook LINE はてブ Bluesky

単眼RGB画像と物体形状から、手と物体のメッシュ上の密な接触マップと3次元力分布を同時推定する手法を提案。物理シミュレーションで力の教師データを生成し、実世界データでも有効性を示した。

詳しい要約

1. どんなもの？

EgoPHIは、単眼のRGB画像と物体の幾何情報から、手と物体のメッシュ上で密な接触マップと3次元の力分布を同時に推定する最初の手法である。従来の接触位置の推定を超え、物理的に接地した相互作用の推論を可能にする。

2. 先行研究と比べてどこがすごい？

先行研究は接触の局在化に留まるか、画像空間や平面設定での力推定に限られていた。EgoPHIは、手と物体のメッシュ上で密な3D接触と力を推定することで、より物理的に意味のある相互作用理解を実現し、既存手法よりも力推定精度を向上させる。

3. 技術・手法の肝は？

手法の肝は、物理ベースのシミュレーションパイプラインを用いて、既存のハンドオブジェクトデータセットに密な頂点ごとの力の教師信号を追加することである。これにより、スケーラブルな力のアノテーション不足を解決し、EgoPHIは相互作用する手と関節物体メッシュ上の密な3D接触と力を学習する。

4. どうやって有効だと検証した？

分布内および分布外のベンチマークで評価し、既存手法より力推定精度が向上し、未知のデータセットへの一般化を確認した。さらに、シミュレーションから実世界への転移を評価するため、密な接触と力の大きさを捉える2つの物理オブジェクトを構築し、8名の参加者による多様なタッチと把持タイプのデータセットを記録した。その結果、シミュレーション、分布外、実世界の設定で意味のある3D接触と力分布を復元できることを示した。

5. 議論はある？

要旨からは、限界や議論についての詳細は不明。ただし、シミュレーションから実世界への転移を評価している点から、sim-to-realギャップが重要な議論の対象であることが示唆される。また、単眼RGB画像と物体幾何のみを用いるため、力の推定には物体の物理特性や手の動力学に関する暗黙の仮定が含まれる可能性がある。

6. 次に読むべき論文は？

要旨で参照されている既存のハンドオブジェクトデータセット（例：ContactPose、ObManなど）や、物理ベースのシミュレーションパイプライン（例：PyBullet、MuJoCo）に関する論文が挙げられる。また、egocentric visionでの接触推定の先行研究（例：ContactHandover）や、力推定の関連手法（例：ForceFromVision）も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andela Ilic, Rachel Schuchert, Yijing Jiang, Christian Holz

分類: cs.CV, cs.GR, cs.HC, cs.RO

原文アブストラクト

Understanding hand-object interaction from egocentric vision is essential for modeling how people physically engage with the surrounding world. Yet reasoning about physically grounded interaction requires estimating the forces acting on hands and objects, beyond localizing contact. We present EgoPHI, the first method that jointly estimates dense contact maps and 3D force distributions on hand and object meshes from a single monocular RGB image and object geometry. To address the lack of scalable ground-truth force annotations, we introduce a physics-based simulation pipeline that augments existing hand-object datasets with dense per-vertex force supervision. EgoPHI then learns dense 3D contact and force on interacting hand and articulated object meshes, extending vision-based force estimation beyond image-space or planar settings. Our evaluation on in-distribution and out-of-distribution benchmarks shows that EgoPHI improves force estimation over existing approaches while generalizing to unseen datasets. To evaluate sim-to-real transfer, we constructed two physical objects that capture dense object contact and force magnitude and used them to record a dataset of interactions from eight participants across diverse touch and grasp types. Our results demonstrate that EgoPHI recovers meaningful 3D contact and force distributions in simulated, out-of-distribution, and real-world settings, advancing egocentric hand-object understanding from contact localization toward physically grounded interaction reasoning.

arXivで原文を読む →arXiv概要ページ

← 論文一覧