日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マルチモーダル検索arXiv:2611.06089

シーン内文字を理解するマルチモーダル物体検索STARE

STARE: Scene Text-Aware multimodal Retrieval for Everyday objects

シェア:XThreadsFacebookLINEはてブBluesky

自由文指示に基づき、物体の視覚特徴と環境中の文字情報を統合して日用品を検索・搬送するロボット向け手法STAREを提案し、新ベンチマークで有効性とゼロショット実機成功率80%を示した。

詳しい要約

1. どんなもの？

- サービスロボットが自由形式の指示に基づき日常物体を検索・搬送するタスクを扱う研究 - 指示は視覚的特徴と scene text の両方を参照しうる - 視覚特徴・物体間の空間関係・環境中の scene text の多模态理解が必要 - 提案手法は Scene Text-Aware multimodal Retrieval for Everyday objects (STARE) - 視覚とテキストの手がかりを自由形式指示に応じて活用する検索手法

2. 先行研究と比べてどこがすごい？

- 先行研究との具体的比較は要旨からは不明 - ただし scene text を含む自由形式指示への対応を明示的に扱う点が特徴 - 物体操作とナビゲーションを含む指示に対応 - 標準的な multimodal retrieval 指標で全 baseline を上回ったと報告 - zero-shot transfer の物理実験で overall success rate 80% を達成

3. 技術・手法の肝は？

- Crosslingual Visual Prompt を導入し scene text の解釈を強化 - 指示中の named entity と対応する物体との複雑な関係をモデル化 - 視覚的特徴と scene text の両方を手がかりとして利用 - 自由形式指示に応答する multimodal retrieval として設計 - 詳細なアーキテクチャは要旨からは不明

4. どうやって有効だと検証した？

- 新規 benchmark の GoGetIt と TextCaps-test で評価 - 両 benchmark は実世界の屋内/屋外画像と物体操作・ナビゲーションを含む指示で構成 - 標準的な multimodal retrieval 指標で全 baseline を上回る結果 - zero-shot transfer 設定の物理実験で overall success rate 80% を達成 - project page と code は Supplementary Materials で提供

5. 議論はある？

- 議論の詳細は要旨からは不明 - scene text と視覚特徴の統合が有効であることを結果が示唆 - zero-shot transfer での物理実験成功は実環境適用の可能性を示す - 限界や失敗事例、benchmark の詳細は要旨からは不明

6. 次に読むべき論文は？

- GoGetIt benchmark の原論文 - TextCaps-test の原論文 - scene text を扱う multimodal retrieval の関連研究 - サービスロボット向け指示理解・物体検索の関連研究 - Crosslingual Visual Prompt の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kento Tokura, Ryosuke Korekata, Daichi Yashima, Kei Katsumata, Kanon Amemiya, Miyu Goko, Komei Sugiura

分類: cs.CV

原文アブストラクト

In this study, we focus on service robots that retrieve and transport everyday objects based on free-form instructions that may refer to visual features and scene text. This is challenging because it requires a multimodal understanding of the visual features and spatial relationships of objects, as well as scene text embedded in the environment. To address this, we propose Scene Text-Aware multimodal Retrieval for Everyday objects (STARE), which leverages visual and textual cues in response to free-form instructions. STARE introduces Crosslingual Visual Prompt to enhance scene text interpretation, and models the complex relationships between named entities in the instructions and their corresponding objects. We evaluate STARE using two novel benchmarks, GoGetIt and TextCaps-test, both of which consist of real-world indoor/outdoor images and instructions involving object manipulation and navigation. The results show that STARE outperforms all baseline methods on standard multimodal retrieval metrics. Furthermore, in physical experiments conducted under a zero-shot transfer setting, STARE achieves an overall success rate of 80%. Our project page and code are provided in the Supplementary Materials.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI