日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.20767

共有アンカー1ビット分解による身体性VLM専門家の統合フレームワークUNITE

UNITE: Consolidating Embodied VLM Specialists via Shared-Anchor One-Bit Factorization

シェア:XThreadsFacebookLINEはてブBluesky

視覚的接地・空間推論・ナビゲーション・運転理解など別々に微調整された身体性VLM専門家を、共有アンカーと1ビット分解を用いた疎なMixture-of-Expertsとして統合し、少ないパラメータ更新で性能を保ちつつストレージを大幅削減する手法を提案。

詳しい要約

1. どんなもの?

- 視覚的grounding・spatial reasoning・navigation・driving understandingなど、共通のpretrained modelからfine-tuneされた複数のembodied VLM specialistsを、1つのcompactなshared-backbone mixture of expertsに統合するフレームワークUNITEを提案 - 各specialistのfeed-forward blockをroutable expertとして保持し、expert bankをshared-anchor one-bit factorizationで表現 - 4つのQwen3-VL-8B specialistsから構築し、全体で20.3 GB(dense specialist 1つの1.16倍、非圧縮MoEより59.6%削減) - 22 benchmarksとR2R Val-Unseenで評価

2. 先行研究と比べてどこがすごい?

- specialistsを個別deployするとstorageが倍増し、1つのdense modelにmergeするとconflicting task updatesがパラメータを共有して各specialistのexpertiseの一部を失う問題がある - UNITEはshared-backbone MoEとして統合し、ほぼsingle-model storageを実現 - 6つのstatic merging methodsと比較してmean retentionで同等、Scan2Cap・ScanQA・4つのnavigation metricsすべてでリード - 5つの3D scene understanding benchmarksすべてで全source specialistを上回る(Scan2Capで最大+19.1) - 非圧縮MoE比で22 benchmarks中21でほぼlossless

3. 技術・手法の肝は?

- 各specialistのfeed-forward blockをroutable expertとして保持するshared-backbone mixture of experts - expert bankをshared-anchor one-bit factorizationで表現:共有のfloating-point anchor+expert固有のrow-scaled binary deviations(scalesとsigns) - anchorはscales・signsとclosed-form alternating updatesで同時最適化し、source weightsのみ使用(calibration data不要) - Router adaptationでtoken-levelのexpert選択を調整。backboneとexpertsはfrozenのまま、0.6M未満のパラメータ(8.8B active parametersの0.01%未満)のみ更新

4. どうやって有効だと検証した?

- 4つのQwen3-VL-8B specialistsからUNITEを構築し、22 benchmarksとR2R Val-Unseenで評価 - 6つのstatic merging methodsとmean retention of best-specialist performanceで同等、Scan2Cap・ScanQA・4つのnavigation metricsすべてでリード - 5つの3D scene understanding benchmarksすべてで全source specialistを上回る(Scan2Capで最大+19.1)、R2R navigationでも上回る - 非圧縮MoE比で22 benchmarks中21でほぼlossless。例外はVSI-Benchで、frame-count experimentsからcross-frame evidenceの利用が損なわれている可能性を示唆

5. 議論はある?

- factorizationは22 benchmarks中21でほぼlosslessだが、VSI-Benchのみ劣化。frame-count experimentsからcross-frame evidenceの利用障害が示唆される - このVSI-Benchの劣化に関する詳細な原因分析や対策は要旨からは不明 - Router adaptationが0.01%未満のパラメータで済む点の限界や、他specialist数へのスケーラビリティは要旨からは不明

6. 次に読むべき論文は?

- 比較対象の6つのstatic merging methods(model merging手法) - 基盤モデルのQwen3-VL-8B - 評価benchmarkのScan2Cap、ScanQA、VSI-Bench、R2R - 関連手法としてmixture of experts、one-bit factorization/quantization、router adaptationの各文献(要旨で明示参照なし)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tao Tao, Anke Tang, Enneng Yang, Zhi Hou, Xiaogang Wang, Dacheng Tao

分類: cs.LG, cs.CV

原文アブストラクト

Embodied capabilities such as visual grounding, spatial reasoning, navigation, and driving understanding are often developed in separate vision-language specialists fine-tuned from a common pretrained model.Deploying the specialists separately multiplies storage, whereas merging them into one dense model forces conflicting task updates to share parameters and loses part of each specialist's expertise.We introduce UNITE, a framework that consolidates such specialists into a compact shared-backbone mixture of experts. UNITE keeps the feed-forward block of each specialist as a routable expert and represents the expert bank through a shared-anchor one-bit factorization: a shared floating-point anchor plus expert-specific, row-scaled binary deviations.The anchor is optimized jointly with the scales and signs through closed-form alternating updates, using only source weights and no calibration data.Router adaptation then adjusts token-level expert selection with the backbone and experts frozen, updating fewer than $0.6$M parameters ($<0.01\%$ of the $8.8$B active parameters). Built from four Qwen3-VL-8B specialists, the complete UNITE model occupies $20.3$ GB, $1.16\times$ the storage of one dense specialist and $59.6\%$ below the uncompressed MoE. Across $22$ benchmarks and R2R Val-Unseen, UNITE matches six static merging methods in mean retention of best-specialist performance, leads all of them on Scan2Cap, ScanQA, and all four navigation metrics, and surpasses every source specialist on all five 3D scene understanding benchmarks (up to $+19.1$ on Scan2Cap) and on R2R navigation. Relative to the uncompressed MoE, factorization is nearly lossless on $21$ of $22$ benchmarks; the exception is VSI-Bench, where frame-count experiments suggest impaired use of cross-frame evidence.UNITE thus consolidates complementary embodied capabilities near single-model storage.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI