日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.30732

SmolVLA-MoE：効率的なマルチタスクロボット操作のためのスパース混合エキスパート

SmolVLA-MoE: Sparse Mixture-of-Experts for Efficient Multi-Task Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

軽量VLAモデルの行動エキスパートにスパースMoEを導入し、トークンごとに最適なエキスパートを選択させることで、計算コストを抑えつつマルチタスク操作性能を向上させた研究。

詳しい要約

1. どんなもの？

- SmolVLA-MoE は、Vision-Language-Action (VLA) モデルにおける action expert の FFN 層に sparse Mixture-of-Experts (MoE) を導入したフレームワーク。 - 軽量 VLA モデルの multi-task ロボットマニピュレーション能力を、限られた計算予算下で向上させることを狙う。 - 複数の並列 expert FFN と token-level router により、各 token が適応的に expert を選択して action 生成を行う。 - 推論時は単一 expert FFN のみを活性化する sparse activation を採用。 - 凍結 VLM backbone を含む総活性化パラメータは約 500M、総保存パラメータは約 800M。

2. 先行研究と比べてどこがすごい？

- 既存の軽量 VLA モデルは単一の dense action expert で全タスクを処理しており、計算予算が限られると multi-task 能力が制約される点が課題だった。 - SmolVLA-MoE は action expert の FFN を MoE 化することで、dense 単一 expert の制約を緩和する。 - LIBERO benchmark の4タスクスイートで平均成功率 84.25% を達成し、SmolVLA (82.75%) および OpenVLA-7B (76.5%) を上回った。 - 推論効率は同等程度に維持していると報告。

3. 技術・手法の肝は？

- action expert の dense FFN 層を、複数の並列 expert FFN と token-level router に置き換える。 - token-level router により、各 token が action 生成に最適な expert を適応的に選択する。 - 事前学習済み能力の継承とタスク特化のバランスを取るため、tunable weight parameter 付きの shared expert を導入。 - sparse activation により、推論時は単一 expert FFN のみを活性化し、計算コストを抑える。 - 凍結 VLM backbone と組み合わせ、約 500M 活性化 / 約 800M 保存パラメータで動作。

4. どうやって有効だと検証した？

- LIBERO benchmark の4つのタスクスイートで評価を実施。 - 平均成功率 84.25% を記録し、SmolVLA (82.75%) と OpenVLA-7B (76.5%) を上回る結果を確認。 - 推論効率が同等程度であることも確認。 - コードは https://github.com/dudu435/smolvla-moe で公開。

5. 議論はある？

- 要旨からは不明。 - 明示されているのは、sparse activation により推論時に単一 expert のみを活性化しつつ、保存パラメータを増やして性能向上を図る設計上のトレードオフ。 - shared expert の tunable weight parameter が事前学習能力継承とタスク特化のバランスにどう影響するかの詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

- SmolVLA（比較対象の軽量 VLA ベースライン） - OpenVLA-7B（比較対象の VLA モデル） - LIBERO benchmark（評価に用いたベンチマーク） - Mixture-of-Experts (MoE) および sparse activation に関する代表的先行研究（一般名）

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shiyang Zhang, Miao Yang, Zhengda Li, Yang Shao, Ruifang Zhai, Hui Peng, Peng Song

分類: cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have shown promising results in multi-task robotic manipulation by leveraging visual and language understanding for action generation. However, existing lightweight VLA models employ a single dense action expert to handle all tasks, which limits their multi-task capability under constrained computational budgets. To address this issue, we propose SmolVLA-MoE, a novel framework that introduces sparse Mixture-of-Experts (MoE) into the FFN layers of the action expert in VLA models. SmolVLA-MoE replaces dense FFN layers with multiple parallel expert FFNs and a token-level router, enabling each token to adaptively select the most suitable expert for action generation. We further introduce a shared expert with a tunable weight parameter to balance the inheritance of pre-trained capabilities and task-specific expert specialization. Through sparse activation, SmolVLA-MoE activates only a single expert FFN during inference, with a total activated parameter count of approximately 500M including the frozen VLM backbone, while benefiting from approximately 800M total stored parameters. We evaluate our method on four task suites of the LIBERO benchmark. SmolVLA-MoE achieves an average success rate of 84.25%, outperforming SmolVLA (82.75%) and OpenVLA-7B (76.5%), while maintaining comparable inference efficiency. Our code is publicly available at https://github.com/dudu435/smolvla-moe.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI