手と物体の相互作用再構成2026/9/29arXiv:2609.36454

DynamicHOI: 物理を考慮した手と物体の相互作用再構成のための連成ダイナミクス

DynamicHOI: Coupled Dynamics for Physics-aware HOI Reconstruction

単眼RGB動画から手と物体の相互作用を再構成する際に、物理的な整合性を考慮するフレームワークを提案。拡散モデルによる幾何学的精緻化と、手と物体の連成ダイナミクスを組み合わせ、接触力伝達や確率的な事前分布により機械的に不自然な動きを抑制する。

詳しい要約

1. どんなもの？

- 単眼RGB動画からのhand-object interaction (HOI) reconstructionを扱う研究。 - 部分観測により視覚的に妥当でも力学的に不整合な軌道が生じる問題に対処。 - DynamicHOIを提案：geometry-grounded diffusion refinementとcoupled hand-object dynamicsを組み合わせたphysics-aware HOI reconstruction framework。 - 再構成だけでなくhand world-model generationやrobotic manipulation learningへの応用も示す。

2. 先行研究と比べてどこがすごい？

- 既存手法は主に視覚的・幾何的整合性を強制し、相互作用のdynamicsを十分に制約していない。 - 本研究はdynamics-level supervisionを導入し、hand generalized forcesとobject wrenchesを導出。 - contact-force transferでhandとobjectのdynamicsを結合し、active hand actuationをinteraction-level physical quantityとして復元。 - その経験的magnitude分布をprobabilistic priorとして定式化し、力学的に不自然な運動を抑制。

3. 技術・手法の肝は？

- geometry-grounded diffusion refinement：視覚証拠を空間的に接地し軌道をrefine。 - articulated inverse dynamicsとNewton-Euler dynamicsによりhand generalized forcesとobject wrenchesを導出しdynamics-level supervision。 - contact-force transferでhandとobjectのdynamicsをcouple。 - active hand actuationを復元し、そのempirical magnitude distributionをprobabilistic priorとして利用。 - このpriorでunlikely actuationにペナルティを与え、mechanically implausibleな再構成運動を抑制。

4. どうやって有効だと検証した？

- 3つのHOI datasetsで実験。 - handとobjectの再構成の両方で一貫した改善を確認。 - 再構成軌道がhand world-model generationやrobotic manipulation learningなどの下流応用に有益であることを示す。 - これによりphysics-aware HOI modelingの再構成を超えた価値を実証。

5. 議論はある？

- 要旨からは不明。 - 限界や失敗事例、計算コスト、一般化可能性についての議論は要旨に記載なし。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてhand-object interaction reconstruction、physics-aware reconstruction、diffusion refinement、inverse dynamics、Newton-Euler dynamics、contact-force transfer、hand world-model generation、robotic manipulation learningが挙げられる。 - 同分野の定番としてHOI reconstructionやphysics-informed learningの代表的論文を読むとよい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenliang Guo, Zhanbo Huang, Yu Kong

分類: cs.CV

原文アブストラクト

We study hand-object interaction (HOI) reconstruction from monocular RGB videos, where partial observations can produce visually plausible yet mechanically inconsistent trajectories. Existing methods mainly enforce visual and geometric agreement, leaving the underlying interaction dynamics insufficiently constrained. We propose DynamicHOI, a physics-aware HOI reconstruction framework combining geometry-grounded diffusion refinement with coupled hand-object dynamics. Geometry spatially grounds visual evidence for trajectory refinement, while articulated inverse dynamics and Newton-Euler dynamics derive hand generalized forces and object wrenches for dynamics-level supervision. We further couple hand and object dynamics through contact-force transfer and recover active hand actuation as an interaction-level physical quantity. We formulate its empirical magnitude distribution into a probabilistic prior that penalizes unlikely actuation and suppresses mechanically implausible reconstructed motion. Experiments on three HOI datasets show consistent improvements in both hand and object reconstruction. The reconstructed trajectories further benefit downstream applications including hand world-model generation and robotic manipulation learning, demonstrating the value of physics-aware HOI modeling beyond reconstruction.

arXivで原文を読む →arXiv概要ページ

← 論文一覧