手姿勢推定2026/8/12arXiv:2608.11574

手の可視性検出器：手の各キーポイントの可視性推定

Hand Visibility Detector: Per-Keypoint Visibility Estimation for Hands

手の各関節の可視性を推定するモデルを提案し、可視性を重み付けした三角測量により3D手姿勢アノテーションの精度を向上させた。

詳しい要約

1. どんなもの？

Hand Visibility Detectorは、画像中の手の各関節（keypoint）の可視性（visibility）を推定するモデルである。従来のHand Pose Estimation (HPE)手法が関節位置のみを出力するのに対し、本手法は各関節が画像内で可視かどうかを独立したタスクとして推定する。AR/VRやロボティクスなどの応用で、オクルージョン下での推定結果の信頼性評価に役立つ。

2. 先行研究と比べてどこがすごい？

既存のHPE手法の多くは関節位置を出力するが、可視性を明示的に出力しない。一部の手法はオクルージョンや可視性を扱うが、それはポーズ推定の補助信号としてのみ用いられてきた。本手法は、関節ごとの可視性推定をスタンドアロンのタスクとして初めて体系的に研究した点が新しい。また、大規模データで事前学習されたHPEモデルをバックボーンとして活用することで高性能を達成している。

3. 技術・手法の肝は？

手法の肝は、大規模データで事前学習されたHPEモデルのバックボーンを利用することである。具体的には、既存のHPEモデルから得られる特徴表現を活用し、各関節の可視性を分類するヘッドを追加する。これにより、HPEの事前知識を転移学習し、可視性推定の性能を向上させている。

4. どうやって有効だと検証した？

有効性の検証は、下流タスクである3D手のポーズアノテーション（multi-view triangulation of 2D keypoints）を用いて行われた。可視性で重み付けしたtriangulationにより、reprojection errorが低減することを示した。また、コードとデモが公開されており、実用性が示されている。

5. 議論はある？

要旨からは、可視性推定の定義や評価指標の詳細、他のデータセットでの性能、オクルージョンの種類による影響などは不明である。また、可視性推定がポーズ推定自体の精度向上に寄与するかどうかは議論の余地がある。

6. 次に読むべき論文は？

要旨で参照されている先行研究は明示されていないが、関連する手法として、Hand Pose Estimationの既存研究や、オクルージョン対応のポーズ推定手法が挙げられる。具体的には、大規模データで事前学習されたHPEモデル（例えば、Hand TransformerやMediaPipe Handsなど）や、可視性を扱うポーズ推定手法（例えば、Occlusion-aware HPE）が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ryosei Hara, Masashi Hatano, Rintaro Yanagi, Atsushi Hashimoto, Takuma Yagi, Mariko Isogawa

分類: cs.CV

原文アブストラクト

Hand Pose Estimation (HPE) is a fundamental technology for various applications such as AR/VR and robotics. In these applications, the visibility of each hand joint in the image is crucial for assessing the reliability of estimation results under occlusion. However, most existing HPE methods output joint positions without explicitly indicating their visibility. Although some methods account for occlusion or visibility, visibility estimation has mainly been used as an auxiliary signal for improving pose estimation. To our knowledge, per-joint hand visibility estimation has not been systematically studied as a standalone task. In this work, we propose Hand Visibility Detector, a model for estimating the visibility of individual hand joints, and present the first systematic investigation of visibility estimation as an independent task. We show that leveraging the prior knowledge of HPE models pretrained on large-scale data as a backbone yields high performance in this task. We further demonstrate the utility of Hand Visibility Detector on a downstream task of 3D hand pose annotation via multi-view triangulation of 2D keypoints, showing that visibility-weighted triangulation reduces reprojection error. Our method is released as a ready-to-use package, and the code and demo are available at https://github.com/ryhara/hand_visibility_detector .

arXivで原文を読む →arXiv概要ページ

← 論文一覧