視覚基盤モデル2026/9/24arXiv:2609.29252

IronViT: 効率的な汎用視覚表現学習に向けて

IronViT: Toward Efficient Generalist Visual Representation Learning

複数の専門家モデルの能力をソフトマックス注意で統合してからハイブリッド線形注意エンコーダへ蒸留し、高解像度でも効率的な汎用視覚エンコーダを実現した。

詳しい要約

1. どんなもの？

- 汎用視覚エンコーダの研究。 - 意味・空間・言語・行動の手がかりを統合表現で捉える。 - 高解像度でsoftmax attentionが高コストになる問題に対処。 - 複数の専門家教師を効率的アーキテクチャに蒸留する試み。 - 直接結合すると表現品質が低下することを発見。 - IronViTを提案：能力統合後に計算制約を課す。 - 認識・検索・密予測・マルチモーダル理解・ロボット学習で競争力。

2. 先行研究と比べてどこがすごい？

- 従来のsoftmax attentionベースの視覚バックボーンは高解像度で高コスト。 - 複数の専門家教師を直接蒸留すると表現品質が劣化。 - IronViTは能力統合を先に行うことでこの問題を回避。 - 専門家・汎用視覚エンコーダと比較して競争力。 - softmax bridgeはマルチモーダル理解とロボット学習で最高の総合性能。 - hybrid encoderは広い転移性能を維持しつつ効率優位。 - 効率優位は入力解像度とともに増大。

3. 技術・手法の肝は？

- 原則：計算制約前に能力を統合。 - 第一段階：補完的な専門家をsoftmax attention capability bridgeに蒸留。 - 第二段階：統合表現をhybrid softmax-linear attention encoderに段階的に転移。 - 専用データパイプラインで蒸留コーパスをキュレーション。 - 情報密度を高め、ドメインカバレッジを拡大。 - これにより高解像度コストを継承せず汎用エンコーダを実現。

4. どうやって有効だと検証した？

- 認識、検索、密予測、マルチモーダル理解、ロボット学習で評価。 - 専門家および汎用視覚エンコーダと比較。 - softmax bridgeはマルチモーダル理解とロボット学習で最高の総合性能。 - hybrid encoderは広い転移性能を維持し、効率優位を確認。 - 効率優位は入力解像度とともに増大することを示した。

5. 議論はある？

- 直接結合の劣化理由：学生が異種能力を同時に調和し、異なるtoken-mixingアーキテクチャに適応する必要。 - 能力統合を先に行うことでこの問題を軽減。 - 高解像度コストを継承せず汎用エンコーダを実現可能。 - 限界や今後の課題は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：softmax attentionベースの視覚バックボーン、専門家教師、汎用視覚エンコーダ。 - 関連手法：知識蒸留、hybrid softmax-linear attention、マルチモーダル理解、ロボット学習。 - 具体的な論文名は要旨からは不明。 - 同分野の定番：Vision Transformer (ViT)、CLIP、DINO、MAEなど。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaxi Huang, Yueqi Hu, Xin Zhu, Xiaopeng Zhang, Huiting Qiao, Yanglin Zhang, Zefeng Ji, Rongxue Li, Yifei Xu, Huiying Yu, Wei Liu, Jiayin Zheng, Yinggan Xu, Peipeng Chen, Yin Zhang, Jian Yao

分類: cs.CV

原文アブストラクト

A generalist vision encoder must capture semantic, spatial, language-aligned, and action-relevant cues within a unified representation, yet softmax attention underlying today's most capable visual backbones becomes prohibitively expensive at high resolution. A natural attempt to address both challenges is to distill multiple specialist teachers directly into an efficient architecture. We find that directly coupling these objectives degrades representation quality, as the student must simultaneously reconcile heterogeneous capabilities and adapt them to a different token-mixing architecture. We introduce IronViT, built on a simple principle: consolidate capabilities before constraining computation. IronViT first distills complementary specialists into a softmax attention capability bridge, then progressively transfers the consolidated representation to a hybrid softmax-linear attention encoder. A purpose-built data pipeline further curates the distillation corpus for higher information density and broader domain coverage. Across recognition, retrieval, dense prediction, multimodal understanding, and robotic learning, IronViT is competitive with leading specialist and generalist vision encoders. The softmax bridge achieves the strongest aggregate performance in multimodal understanding and robotic learning among the evaluated backbones, while the hybrid encoder retains broad transfer performance with an efficiency advantage that grows with input resolution. Together, these results show that consolidating capabilities before architectural conversion can yield a generalist visual encoder without inheriting the prohibitive high-resolution cost of conventional softmax attention.

arXivで原文を読む →arXiv概要ページ

← 論文一覧