日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLMarXiv:2611.22625

VLM誘導型グラウンディング専門家による汎用参照表現理解

VLM-guided Grounding Expert for Generalised Referring Expression Comprehension

シェア:XThreadsFacebookLINEはてブBluesky

凍結したVLMと学習可能なグラウンディング専門家を層ごとのジョイントアテンションとテキスト条件付きインスタンススコアリングで統合し、言い換えや文脈付加に頑健な物体特定を実現した。

詳しい要約

1. どんなもの?

- Generalised referring expression comprehension (GREC) のためのモデル VLM-guided Grounding Expert (VGE) を提案する研究。 - 言語表現が指す zero/one/multiple の対象を同定・位置特定する課題を扱う。 - ロボティクスでは言い換えや文脈付加があっても grounding 精度維持が必要と動機づける。 - frozen な VLM と trainable な grounding expert を組み合わせる構成。 - 対象は bounding-box 予測を伴う referring expression grounding。

2. 先行研究と比べてどこがすごい?

- grounding expert モデルは instruction variation に敏感という限界がある。 - generative VLM は完全な target recovery と absent target の rejection が苦手という相補的限界がある。 - 両者の相補性を活かし、VLM の文脈表現と grounding expert の直接的な spatial prediction を統合する点が新規。 - 同一 VLM base model の baseline に対し 5.3–13.0× の inference speedup を報告。

3. 技術・手法の肝は?

- frozen VLM と trainable grounding expert を layerwise joint attention で結合する。 - text-conditioned instance scoring により候補選択を行う。 - VLM の multimodal understanding を object-query refinement と candidate selection の guidance に用いる。 - 直接的な bounding-box prediction 能力は grounding expert 側に保持させる。

4. どうやって有効だと検証した?

- 3 datasets・5 test splits で評価し、全 split で評価手法中最高の averaged F1 を達成。 - 各 split 内の instruction conditions 間の差は最大 1.2 percentage points。 - robotic scenes の dataset では instruction variants および no-target/single-target/multiple-target の各ケースで最高 F1。 - 同一 VLM base model の baseline 比で 5.3–13.0× の inference speedup を確認。

5. 議論はある?

- VLM の文脈理解と特化型 spatial prediction の組合せが grounding の両課題に有効であることを結果が支持。 - 特に robotic scenes で強い性能を示すと述べる。 - 具体的な失敗事例や限界、計算コストの詳細な議論は要旨からは不明。 - code は publication 時に公開予定。

6. 次に読むべき論文は?

- 要旨で比較対象として明示される grounding expert models と generative VLMs の関連研究。 - layerwise joint attention や text-conditioned instance scoring の基礎となる手法。 - GREC および robotic manipulation 向け referring expression grounding の定番 dataset・benchmark 関連論文。 - 個別の論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingcheng Zhu, Wentian Xu, Tao Lin, Shiying Duan, Ziyun Liang, Xuecheng Qi, Junyang Chen, Kuo Li, Zhifan Wan, Dong Wang, Richard Wang, Yang Gao

分類: cs.RO

原文アブストラクト

Generalised referring expression comprehension (GREC) aims to identify and localise the zero, one or multiple objects referred to by a language expression. In robotic manipulation, grounding also needs to remain accurate when requests for the same objects are paraphrased or embedded in additional context in robotics. However, grounding expert models are sensitive to instruction variation, while generative vision--language models (VLMs) struggle with complete target recovery and rejection of absent targets. These complementary limitations motivate combining the contextual representations of VLMs with the direct spatial prediction capabilities of grounding experts. We therefore introduce VLM-guided Grounding Expert (VGE), which combines a frozen VLM with a trainable grounding expert through layerwise joint attention and text-conditioned instance scoring. These interfaces leverage multimodal understanding of the VLM to guide object-query refinement and candidate selection while retaining direct bounding-box prediction. Across three datasets, VGE achieves the highest averaged F1 score among the evaluated methods on all five test splits, with differences of at most 1.2 percentage points across instruction conditions within each split. On the dataset with robotic scenes, VGE also achieves the highest F1 across instruction variants and no-target, single-target and multiple-target cases. VGE provides a $5.3$--$13.0\times$ inference speedup over the baseline with the same VLM base model. These results support combining VLM context with specialised spatial prediction to address both grounding challenges, with particularly strong performance in robotic scenes. Code will be released upon publication.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI