手と物体の相互作用推定2026/9/8arXiv:2609.08607

GOLF: キャリブレーション対応ステレオ相互作用場推定のためのグローバル観察と局所焦点

GOLF: Global Observation with Local Focus for Calibration-Aware Stereo Interaction Field Estimation

両眼ステレオ映像から手の関節と操作対象物の間の3次元相互作用場を推定する手法を提案し、ECCV 2026のチャレンジで1位を獲得した。

詳しい要約

1. どんなもの？

GOLFは、HANDS@ECCV 2026のSHOW3D Interaction Field Estimation Challengeで1位を獲得した手法。同期された一人称視点のステレオ画像から、21個の手関節それぞれから操作対象物体上の最近傍点への3Dベクトル（interaction field）を推定する。

2. 先行研究と比べてどこがすごい？

従来手法と比較して、密なグローバルコンテキストと局所サンプリングによる手・物体の証拠を組み合わせ、共通フレームでのPlücker-ray幾何を利用する点が新しい。また、DINOv3 ViT-H+/16をLoRAと学習可能なLayerNormパラメータで適応し、2つのinteraction fieldを同時にデコードする点が優れている。

3. 技術・手法の肝は？

手法の核は、DINOv3 ViT-H+/16をバックボーンとしてLoRAと学習可能なLayerNormでファインチューニングし、密なグローバルコンテキストと局所サンプリングした手・物体の特徴を統合すること。さらに、共通フレームでのPlücker-ray幾何を用いて3Dベクトルを推定する。

4. どうやって有効だと検証した？

SHOW3D Interaction Field Estimation Challengeの非公開テストセットで評価し、公式スコア27.61、平均ADE 27.96 mmを達成。さらに、相補的な直接ファインチューニングした変種との等重アンサンブルにより、公式スコア27.47、平均ADE 27.82 mmに改善し、1位を獲得した。

5. 議論はある？

要旨からは、アンサンブルが単一モデルよりわずかに改善したこと、また、直接ファインチューニングした変種が相補的であることが示唆されるが、具体的な限界や議論は不明。

6. 次に読むべき論文は？

要旨で参照されているDINOv3、LoRA、Plücker-ray幾何に関する論文が関連する。また、SHOW3Dチャレンジのベースラインや、interaction field推定の既存研究（例：手と物体のインタラクション推定）が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Minqiang Zou, Riqiang Jin, Zhi Lv, Dong Luo, Lianghai Tian, Zhenyu Zhao, Qi Xu, Tong Wu, Mochen Yu, Yao Tang

分類: cs.CV

原文アブストラクト

We present GOLF, the first-place solution to the SHOW3D Interaction Field Estimation Challenge at HANDS@ECCV 2026. Given synchronized egocentric stereo views, the task is to predict a 3D vector from each of 21 hand joints to the closest point on the manipulated object. GOLF combines dense global context, locally sampled hand/object evidence, and common-frame Plücker-ray geometry. We adapt DINOv3 ViT-H+/16 with LoRA and trainable LayerNorm parameters, then jointly decode both interaction fields. Our primary model achieves an official score of 27.61 and a mean ADE of 27.96 mm on the hidden test set. An equal-weight ensemble with a complementary directly fine-tuned variant improves these results to an official score of 27.47 and a mean ADE of 27.82 mm, securing first place.

arXivで原文を読む →arXiv概要ページ

← 論文一覧