3D視覚グラウンディング/自動運転/マルチセンサ2026/8/5arXiv:2608.04568

Talk2Sensors: センサ適応型物理的手がかりマッチングによる自動運転の3D視覚グラウンディング

Talk2Sensors: 3D Visual Grounding in Autonomous Driving via Sensor-Adaptive Physical Cue Matching

カメラ・LiDAR・4Dレーダーのマルチセンサデータを用いた自動運転向け3D視覚グラウンディングのデータセットと、言語クエリに応じてセンサ情報を動的に統合するTransformerベースのフレームワークを提案した。

詳しい要約

1. どんなもの？

Talk2Sensorsは、自動運転シーンにおける3D視覚グラウンディング(3DVG)のための、カメラ・LiDAR・4Dレーダーを統合した初のマルチセンサーデータセットと、それに対応する統一TransformerベースのフレームワークTSFormerを提案する研究。データセットは8,682の言語指示と20,558の参照オブジェクトを含み、センサー固有の物理的手がかりに明示的に整合する多様なプロンプトを備える。TSFormerは、Language-Routed Property SamplerとSparse-Preserving Modality Arbiterを用いた粗密融合戦略により、言語クエリに応じて外観・幾何・運動の手がかりを動的にルーティングし、正確な参照位置を特定する。

2. 先行研究と比べてどこがすごい？

従来の3DVG研究は屋内シーンに集中し、屋外では単眼画像のみに依存していた。これに対し、Talk2Sensorsは異種センサー（カメラ、LiDAR、4Dレーダー）の相補的な物理特性を活用する点が新しい。また、既存手法はセンサー融合が固定的で、言語クエリに応じた動的な手がかり選択ができなかったが、TSFormerは言語条件付きでセンサー重みを変調し、スパースなセンサー信号を保護しながら融合する点で優れている。

3. 技術・手法の肝は？

TSFormerは、Language-Routed Property SamplerとSparse-Preserving Modality Arbiterの2段階からなる。前者は、テキストの言語的手がかりを用いてセンサーサンプリング重みを変調し、粗い特徴検索を行う。後者は、細かいモダリティ調停とテキスト誘導のリファインメントを行い、正確な参照空間位置を決定する。これにより、プロンプトの意味的要件に応じて外観・幾何・運動の手がかりを動的にルーティングし、高密度モダリティがスパースな重要信号を圧倒するのを防ぐ。

4. どうやって有効だと検証した？

Talk2Sensorsデータセット上で、最強ベースラインに対して8.05 mAPの改善を達成。さらに、単眼ベンチマークMono3DReferに転移し、53.05%のAcc@0.5を達成。これにより、マルチセンサー設定での有効性と、単眼設定への一般化能力を検証した。

5. 議論はある？

要旨からは、提案手法の限界や議論点は明示されていない。ただし、データセットが特定のセンサー構成に依存する可能性や、言語指示の多様性が限定的であること、また、TSFormerの計算コストや実時間性能については言及がない。さらに、Mono3DReferへの転移は単眼のみであるため、マルチセンサー設定での優位性が単眼でも保たれるかは議論の余地がある。

6. 次に読むべき論文は？

要旨で参照されているMono3DReferベンチマークの論文、および3DVGの屋内シーンでの標準的な手法（例：ReferIt3D、ScanRefer）や、自動運転におけるセンサーフュージョン手法（例：TransFusion）が関連する。また、4Dレーダーを用いた物体検出や追跡の研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Runwei Guan, Di Tian, Ningwei Ouyang, Ruixiao Zhang, Shaofeng Liang, Haocheng Zhao, Lianqing Zheng, Xiaokai Bai, Guotao Wang, Daizong Liu, Henghui Ding, Hui Xiong

分類: cs.CV

原文アブストラクト

As a key capability for embodied intelligence, 3D visual grounding (3DVG) has been predominantly studied in indoor scenes with RGB-D or point-cloud inputs, while existing outdoor extensions largely rely on monocular images alone. Both settings fall short of real-world outdoor perception, where heterogeneous sensors capture complementary yet distinct physical properties, such as visual texture, 3D geometry, and object kinematics, that are indispensable for flexible and robust query-adaptive grounding but remain under-exploited. To bridge this gap, we introduce Talk2Sensors, the first multi-sensor 3D visual grounding dataset built upon camera, LiDAR, and 4D radar. It contains 8,682 language instructions and 20,558 referred objects, with diverse prompts explicitly aligned with sensor-specific physical cues. Furthermore, we propose TSFormer, a unified Transformer-based framework for language-guided 3D visual grounding in autonomous driving. TSFormer adopts a coarse-to-fine property-aware fusion strategy: the Language-Routed Property Sampler first performs coarse text-conditioned feature retrieval by modulating sensor sampling weights with query-level linguistic cues, while the subsequent Sparse-Preserving Modality Arbiter module conducts fine-grained modality arbitration and text-guided refinement to determine the precise referred spatial location. This design enables dynamic routing of appearance, geometry, and motion cues according to the semantic requirements of each prompt, preventing dense modalities from overwhelming sparse but critical sensor signals. Extensive experiments demonstrate that TSFormer achieves state-of-the-art performance across multiple benchmarks: it improves over the strongest baseline by 8.05 mAP on Talk2Sensors, and transfers to the monocular Mono3DRefer benchmark with 53.05\% Acc@0.5.

arXivで原文を読む →arXiv概要ページ

← 論文一覧