日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
マルチモーダル知覚arXiv:2610.37037

ズームなしで詳細を見るv2：汎化可能なマルチモーダル知覚のための証拠連結

Zooming without Zooming v2: From Seeing Details to Connecting Evidence for Generalizable Multimodal Perception

シェア:XThreadsFacebookLINEはてブBluesky

画像内の関連領域をズームした視点から比較・集約・連鎖を要する質問を合成し、複数VLMの一致と領域除去テストで品質を担保してRLVRで学習。下流ベンチマークに特化せず細粒度・空間知覚や長文脈理解、エージェント課題を改善。

詳しい要約

1. どんなもの？

- 本論文は、マルチモーダル知覚の基盤能力を強化するデータ合成フレームワーク EvidenceConnect と、それで学習したモデル ZwZ2 を提案する。 - 対象は spatial perception と multimodal long-context understanding。 - 両タスクに共通する能力を connecting evidence と呼び、その訓練データを合成する。 - 合成データで base VLM を RLVR により学習し ZwZ2 を得る。

2. 先行研究と比べてどこがすごい？

- 従来は spatial perception や long-context understanding 向けの高品質データを直接合成するのが困難・高コストだった。 - 本研究はタスク自体ではなく共通能力 connecting evidence のデータを合成する点が異なる。 - 合成データは下流ベンチマークに特化していないが、複数タスクで汎化的な改善を示す。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は？

- EvidenceConnect は単一画像内の関連領域の zoomed views を用い、比較・集約・連鎖を要する質問を生成する。 - 品質管理として、独立した複数 VLM が一致した参照答案のみを保持する。 - region-ablation tests で、選択領域を除去しても答えが残る質問を破棄する。 - 得られたデータで base VLM を RLVR により学習する。

4. どうやって有効だと検証した？

- 合成データで学習した ZwZ2 を複数タスクで評価している。 - fine-grained perception と spatial perception の改善を報告。 - embodied spatial reasoning、multimodal long-context understanding、multimodal agent tasks、general visual reasoning でも追加の向上。 - 個別ベンチマーク名や数値は要旨からは不明。

5. 議論はある？

- 下流ベンチマークに特化しない合成データでも汎化改善が得られる点を主張。 - connecting evidence の強化が汎化的なマルチモーダル知覚につながる可能性を示唆。 - 限界や失敗事例、計算コスト、データ規模などの議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で明示的に参照・比較された研究はない。 - 関連手法として RLVR、VLM、zoomed views を用いたデータ合成、region-ablation による品質管理が挙げられる。 - 同分野の定番として spatial perception や multimodal long-context understanding のベンチマーク論文、embodied AI の spatial reasoning 研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lai Wei, Yatai Li, Liangbo He, Jun Lan, Renjie Gu, Linhan Cao, Junkai Lin, Huijia Zhu, Weiqiang Wang, Linghe Kong, Yue Wang, Zhuosheng Zhang, Weiran Huang

分類: cs.CV, cs.AI, cs.CL, cs.LG

原文アブストラクト

Multimodal perception forms the foundation of multimodal intelligence. In particular, spatial perception and multimodal long-context understanding are two pivotal tasks that underpin embodied AI and multimodal agents. However, synthesizing targeted, high-quality training data for these tasks remains difficult and costly. Our key insight is that these tasks share an underlying capability, which we call connecting evidence: identifying relevant visual facts, binding them to the correct entities, recovering their relations, and composing them into an answer. Crucially, targeted training data are far easier to synthesize for this capability than for these tasks themselves. To strengthen this capability, we propose EvidenceConnect, an easy-to-implement data synthesis framework that uses zoomed views of related regions within a single image to generate questions requiring comparison, aggregation, or chaining of visual evidence. To ensure quality, a reference answer is retained only when independent VLMs agree on it, and region-ablation tests discard questions whose answer survives the removal of selected regions. We then train base VLMs on the resulting data with RLVR, obtaining Zooming without Zooming v2 (ZwZ2). Although the synthesized data are not tailored to any downstream benchmark, ZwZ2 improves fine-grained and spatial perception, with further gains on embodied spatial reasoning, multimodal long-context understanding, multimodal agent tasks, and general visual reasoning. These results establish EvidenceConnect as an effective framework for supervising evidence connection and suggest that strengthening this shared capability leads to more generalizable multimodal perception.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI