3D指示理解2026/11/3arXiv:2611.04422

ジェスチャー・視覚・テキストを統合した3D指示対象理解モデルGVT3D

GVT3D: Gesture-Vision-Text Token Enrichment for 3D Embodied Reference Understanding

指差しジェスチャーと言語指示から3D点群中の対象物位置を特定するタスクにおいて、3つのモダリティを共有埋め込み空間で統合し、注視領域に絞った処理で高速化も実現したモデルを提案した。

詳しい要約

1. どんなもの？

- 3D Embodied Reference Understanding (3D-ERU) のためのモデル GVT3D を提案 - 入力は point-cloud シーン、人間の pointing gesture、言語記述 - 出力は対象物体の 3D 位置 - pick-and-place や object retrieval など human-robot interaction を想定 - Embodied Fusion と foveation の2つの要素から構成

2. 先行研究と比べてどこがすごい？

- 従来の 3D-ERU モデルは cross-modal 表現の alignment が不十分 - また point-cloud のサイズに比例して処理コストが増大 - GVT3D は language・gesture・vision を shared embedding space で統合し alignment を促進 - 精度は prior 3D-ERU モデル比で約 8% 向上 - foveation により同等精度を保ちつつ 2.95x 高速化

3. 技術・手法の肝は？

- Embodied Fusion module: language, gesture, vision を shared embedding space で jointly にモデリング - これにより cross-modal alignment を促進 - foveation approach: 推定 pointing direction 周辺の coarse region 内のみ point cloud を選択的に処理 - 処理対象を絞ることで計算量を削減 - 詳細な architecture や loss は要旨からは不明

4. どうやって有効だと検証した？

- prior 3D-ERU モデルとの比較で精度を評価 - 約 8% の accuracy 向上を報告 - foveation により 2.95x の高速化を確認 - 高速化時も comparable accuracy を維持 - 具体的な dataset 名や実験設定は要旨からは不明

5. 議論はある？

- foveation は pointing direction 推定に依存するため、推定誤差の影響が議論点になり得る（要旨からは不明） - coarse region の設定が精度と速度の trade-off に影響する可能性（要旨からは不明） - 大規模 point-cloud での汎化性や実ロボット環境での検証は要旨からは不明 - 明示的な limitation の記述は要旨からは不明

6. 次に読むべき論文は？

- 本論文が比較対象とする prior 3D-ERU モデル（具体名は要旨からは不明） - 3D-ERU タスクの関連研究 - point-cloud 処理の foveation / 選択的処理に関する研究 - cross-modal alignment を用いた embodied reference understanding の研究 - 同分野の定番として point-cloud ベースの 3D object detection / grounding 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vimarsh Shah, Dulanga Weerakoon, Ajinkya Deshpande, Saksham Agarwal, Nilesh Bhatia, Neel Kiran Naik, Parth Shah, Sravan Danda, Sanjay E. Sarma, Archan Misra, Vigneshwaran Subbaraju, Sougata Sen

分類: cs.CV

原文アブストラクト

Natural human-robot interaction requires robots to interpret language and gestures within a 3D environment to support tasks such as pick-and-place and object retrieval. 3D Embodied Reference Understanding (3D-ERU) supports this by identifying the 3D location of a target object from a scene (point-cloud) containing a human pointing gesture and an accompanying language description. However, current 3D-ERU models lack alignment of cross-modal representations and incur high processing costs that increase with the point-cloud's size. To address this, we propose GVT3D, which employs an Embodied Fusion module that jointly models language, gesture, and vision inputs within a shared embedding space, promoting cross-modal alignment. We additionally introduce a foveation approach that selectively processes the point cloud within a coarse region around the estimated pointing direction to reduce computations. GVT3D achieves ~8% higher accuracy and foveation enables 2.95x faster execution while maintaining comparable accuracy, relative to prior 3D-ERU models.

arXivで原文を読む →arXiv概要ページ

← 論文一覧