3Dハンド再構成2026/9/15arXiv:2609.17189

EventEgoHands++: 実データセットを用いたイベントカメラによる一人称視点3Dハンドメッシュ再構成

EventEgoHands++: Event-based Egocentric 3D Hand Mesh Reconstruction with Real Dataset

一人称視点のイベントカメラ映像から左右の手を個別に検出し、適応的アテンションで両手の関係を考慮して3Dハンドメッシュを再構成する手法を提案。

詳しい要約

1. どんなもの？

- 一人称視点のevent cameraによる3D hand mesh reconstructionのフレームワーク。 - 従来のevent-based手法は手のsegmentationをバイナリマスクで行い、左右の区別がなかった。 - 提案手法EventEgoHands++は、instance-levelの手検出とAdaptive Attentionを導入。 - 合成N-HOT3Dを拡張し、実世界最大のEEH-Rデータセットを構築。

2. 先行研究と比べてどこがすごい？

- 従来のevent-based一人称手法は手のsegmentationをバイナリマスクで行い、左右の手を区別できなかった。 - そのため、片手または手が存在しない場合でも両手を予測し、手間の関係が不正確で再構成精度が低下していた。 - 提案手法はinstance-levelのbounding boxとmaskを推定し、左右の手を区別。 - Adaptive Attentionにより手間の空間関係と相互作用を正確に学習。 - 合成・実データセットでベースラインを一貫して上回る。

3. 技術・手法の肝は？

- Hand Detectorが左右の手のinstance-level bounding boxとmaskを推定。 - Adaptive Attentionが検出結果に基づいてattentionを動的にゲートし、手間の空間関係と相互相互作用を学習。 - 合成N-HOT3Dを拡張し、実世界データセットEEH-Rを新規構築。 - EEH-Rは約1Mのアノテーション付きフレームを含み、低照度環境も含む。

4. どうやって有効だと検証した？

- 合成データセット（拡張N-HOT3D）と実データセット（EEH-R）の両方で広範な実験を実施。 - 提案手法がベースラインを一貫して上回ることを示した。 - 低照度環境を含む実世界データで有効性を検証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 最初の一人称event-based手法（具体的な論文名は要旨に記載なし） - N-HOT3D dataset - EEH-R dataset

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ryosei Hara, Wataru Ikeda, Masashi Hatano, Mariko Isogawa

分類: cs.CV

原文アブストラクト

3D hand mesh reconstruction is a challenging yet essential task for downstream applications, including human-robot interaction and AR/VR. Although conventional cameras have been widely adopted for this task, methods that rely on them struggle in low-light environments and under severe motion blur. To address these limitations, event-based cameras have recently attracted attention for their high dynamic range and high temporal resolution. However, applying event cameras to egocentric hand reconstruction remains challenging because camera wearer's motion produces dense background events that obscure hand-specific signals. Although the first egocentric event-based approach mitigates this issue using hand segmentation, its binary hand mask does not distinguish between left and right hands. As a result, the model lacks instance-level hand information and predicts both hands even when only one or neither hand is present. This limitation leads to incorrect inter-hand relationships and degraded reconstruction accuracy. In this paper, we propose EventEgoHands++, a framework for event-based 3D hand mesh reconstruction from an egocentric viewpoint. The proposed method incorporates a Hand Detector that estimates instance-level bounding boxes and masks for both the left and right hands. Moreover, we introduce Adaptive Attention, which dynamically gates the attention based on these detection results to accurately learn the spatial relationship and mutual interactions between the hands. To train and evaluate our framework, we extend the synthetic N-HOT3D dataset and newly construct EEH-R, the largest real-world event-based egocentric hand dataset to date, comprising approximately 1M annotated frames captured in environments including low-light conditions. Extensive experiments on both synthetic and real datasets demonstrate that our method consistently outperforms the baselines.

arXivで原文を読む →arXiv概要ページ

← 論文一覧