日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.21619

3Dガウシアン言語マップの訓練不要なターゲット認識リファインメント

Training-Free Target-Aware Refinement of 3D Gaussian Language Map

シェア:XThreadsFacebookLINEはてブBluesky

既存の3Dガウシアン言語マップに対し、ユーザー指定ターゲットを確実に位置特定するため、訓練不要でターゲット領域の埋め込みをテキスト埋め込みと最小限にブレンドする手法を提案。

詳しい要約

1. どんなもの？

- 既にdistillされた3D Gaussian Splattingベースのlanguage mapに対し、training-freeでtarget-awareなrefinementを行う手法。 - ユーザ指定の少数targetを確実にlocateしつつ、他語のopen-vocabulary queryabilityを維持する。 - text-promptable segmenterで検出したtarget領域内のvisual embeddingをtarget text embeddingと凸結合でblendする。 - 非target領域は変更しない。

2. 先行研究と比べてどこがすごい？

- 従来のdistilled mapはユーザ指定targetのlocateをしばしば失敗する。 - 本手法はtraining-freeで既存mapをrefineし、open-vocabulary segmentationを一貫して改善。 - Replicaでbase mIoUを約2倍に。 - off-the-shelfのfield-based/object-level language mapにもplug-inとして転移可能。 - legged robotの実世界ナビゲーション実証も支持。

3. 技術・手法の肝は？

- text-promptable segmenterをガイドに、検出target領域内のvisual embeddingとtarget text embeddingを凸結合。 - 係数が注入prior量を決める。 - 注入しすぎるとappearance cueとgeneral queryabilityを上書きするため、各targetで勝てる最小係数を求める。 - 係数はclosed formで得られ、hyperparameter調整不要。 - text embeddingの共通成分によりcosine read-outがquery-agnosticになるfailure modeを同定し、read-outでのcenteringで除去。

4. どうやって有効だと検証した？

- 3つのbenchmarkで評価。 - open-vocabulary segmentationが一貫して改善、Replicaでbase mIoUが約2倍。 - base mapよりlanguage goalのlocalizeが信頼できる。 - off-the-shelfのfield-based/object-level language mapへのplug-in転移を確認。 - legged robotが自然言語goalへナビゲートする実世界デモを支持。

5. 議論はある？

- 注入量が多すぎるとappearance cueとgeneral queryabilityを上書きするtrade-off。 - text embeddingの共通成分によるlanguage-goal localizationのfailure modeを指摘。 - centering stepでread-outのquery-agnostic問題を除去。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として3D Gaussian Splatting、vision-language feature distillation、text-promptable segmenter、open-vocabulary segmentation、language map、field-based/object-level language mapが挙げられる。 - 同分野の定番としてCLIP、OpenScene、LERF、3D Gaussian Splatting関連のlanguage map研究を次に読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sibaek Lee, Kyeongsu Kang, Seongbo Ha, Yewon Jeon, Joonyeol Choi, Daegeol Ko, Jaehyuk Hur, Taemin Choi, Minsu Kim, Hyungjoo Ahn, Wonsok Yoo, Hyeonwoo Yu

分類: cs.RO, cs.CV

原文アブストラクト

Distilling vision-language features into 3D Gaussian Splatting yields a language map that can be queried with arbitrary text. In deployment, however, a small set of user-specified targets must be reliably located, which current distilled maps often miss, while open-vocabulary queryability for other words must remain intact. We propose a training-free, target-aware refinement of an already-distilled language map. Guided by a text-promptable segmenter, the visual embedding inside each detected target region is blended with the target text embedding, a convex combination whose coefficient sets the amount of injected prior, while non-target regions are left untouched. Injecting too much overwrites appearance cues and general queryability, so we seek, for each target, the smallest coefficient that still lets it win, and we obtain every coefficient in closed form, leaving no hyperparameters to tune. We further identify a failure mode of injection in language-goal localization. Text embeddings share a common component, and injecting them makes the standard cosine read-out query-agnostic, which a centering step in the read-out removes. Across three benchmarks, the refinement consistently improves open-vocabulary segmentation, roughly doubling the base mIoU on Replica, and localizes language goals more reliably than the base map. It also transfers as a plug-in to off-the-shelf field-based and object-level language maps and supports a real-world demonstration in which a legged robot navigates to natural-language goals. Project page and code: https://lab-of-ai-and-robotics.github.io/target-aware-langmap/

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI