DACA: ゼロショット3D視覚グラウンディングのためのデュアルアンカー協調エージェント
DACA: Dual-Anchor Collaborative Agent for Zero-Shot 3D Visual Grounding
意味アンカーと幾何アンカーという2つの専門ツールを双方向に連携させ、失敗から自律回復できる閉ループ推論でゼロショット3D視覚グラウンディングを高精度化した論文。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Jiaming Liu, Linghe Kong, Guixu Zhang, Huaxi Huang
分類: cs.CV
原文アブストラクト
3D visual grounding (3D-VG) is a task that bridges the natural language and 3D space, serving as a foundational capability for embodied intelligence and human-computer interaction. Although recent 3D-VG agents overcome the reliance on pre-processed 3D point clouds, they essentially employ a unidirectional, pipeline-style tool-calling architecture. This architecture separates semantic understanding from geometric reconstruction, leading to error accumulation and an inability to autonomously recover from failures. To address this flaw, this paper proposes the Dual-Anchor Collaborative Agent (DACA), which reinterprets 3D-VG as a semantic-geometric dual-anchor collaborative reasoning paradigm. DACA comprises two complementary specialized tools: the semantic anchor tool holds the visual semantic features of the target and achieves efficient target tracking via optical flow and VLM local verification; the geometric anchor tool holds the 3D spatial geometric features of the target and performs global spatial reasoning via voxelization and multi-keypoint projection. The two components exchange information bidirectionally via a standardized tool call protocol, autonomously deciding on the next perception-action step to form a closed-loop optimization. Experiments on the ScanRefer and Nr3D benchmarks demonstrate that zero-shot DACA achieves an overall Acc@0.25 of 73.6\% on ScanRefer and 70.4\% overall accuracy on Nr3D, far surpassing the latest zero-shot 3D-VG methods. The code and models are available at https://github.com/liujia99/DACA
関連論文
- AgentGrounder: マルチモーダル言語モデルを用いたゼロショット3D視覚点群グラウンディング3D視覚グラウンディング
- 複数一貫した2D-3Dマッピングによる頑健なゼロショット3D視覚グラウンディング3D視覚グラウンディング
- Audio-3DVG:音声と点群の統合による3D視覚グラウンディング3D視覚グラウンディング
- LLM駆動の空間推論によるオープンボキャブラリ3D視覚グラウンディングのためのニューラル表現フレームワーク3D視覚グラウンディング
- 視覚言語モデルによるゼロショット3D視覚グラウンディング3D視覚グラウンディング
- DSM: 3D視覚グラウンディングのための多様なセマンティックマップの構築3D視覚グラウンディング
