arXiv論文「SmolVLA-MoE」、多タスク操作向けの疎なMoE手法を提案

何が起きたか

arXivは2026-10-22、論文「SmolVLA-MoE: Sparse Mixture-of-Experts for Efficient Multi-Task Robotic Manipulation」を公開した。論文は、視覚・言語・行動を統合するVLAモデルの行動エキスパートに、疎なMixture-of-Expertsを組み込む新手法を提案している。推論時は単一のexpert FFNのみを活性化し、凍結したVLMバックボーンを含めて約500Mの活性化パラメータ、約800Mの保存パラメータを用いる設計である。

詳細

SmolVLA-MoEは、行動エキスパートのFFN層を複数の並列expert FFNとトークン単位のルーターで置き換える。さらに、事前学習済み能力の継承とタスク固有の専門化のバランスを取るため、重みを調整できるshared expertも導入している。 評価はLIBEROベンチマークの4つのタスクスイートで行われ、平均成功率は84.25%だった。比較対象のSmolVLAは82.75%、OpenVLA-7Bは76.5%で、論文は推論効率を概ね維持したまま性能を改善したとしている。コードはhttps://github.com/dudu435/smolvla-moeで公開されている。

Key Facts

本紙の見方

この論文の新しさは、ロボット操作向けVLAモデルにMoEを足したこと自体よりも、動作生成の部分だけを疎に分岐させ、推論時は単一のexpert FFNに絞る設計にある。密な1本の行動エキスパートで全タスクをさばく従来の軽量VLAでは、多タスク化と計算制約の両立が難しいという問題意識に対し、SmolVLA-MoEは保存パラメータを約800Mまで持たせながら、実際に動く計算は約500Mに抑える構造を採る。つまり、モデル容量を増やしても実行時の重さを抑える、という分離が主眼である。 本紙の関連記事はないため、過去報道との接続は置かない。代わりに本稿で注目すべきは、VLMバックボーンを凍結したまま、行動側のFFNだけを複数expert化している点だ。これは、視覚と言語の基盤表現を固定し、タスク差分を行動層に寄せる構造とも読める。共有expertに可変重みを与えているのも、事前学習の一般性とタスク特化のどちらをどの程度残すかを調整する仕掛けであり、単純なモデル肥大化とは異なる。 業界構造への含意は、ロボット操作モデルの競争軸が、単純なパラメータ規模から「どの層を共有し、どの層をタスク別に分けるか」に移っている点にある。特に、計算資源が限られる場面では、推論時に1つのexpertしか動かさない設計が、導入時の計算負担を抑えつつ多タスク性能を引き上げる選択肢になり得る。一方で、LIBEROの4タスクスイートでの84.25%という結果が、より広い実環境や別の操作系にもそのまま通用するかは別問題である。次に確認すべきは、タスク追加時の性能劣化、ルーターの振る舞い、shared expertの重み設定の感度、そして実機での遅延と成功率の関係である。

なぜ重要か

論文が示した約500Mの活性化パラメータと84.25%の平均成功率は、ロボット操作モデルで「重さを抑えながら多タスク性能を上げる」設計が成立しうることを示す。計算資源が限られる研究・開発環境では、どの層を疎に切り替えるかが実装上の焦点になるとみられる。

日本への影響

日本のロボット研究や製造現場向けAIでは、実機に載る推論負荷を抑えつつ多工程を扱う設計が論点になりやすい。VLMバックボーンを固定し、行動層だけをexpert化する構造は、既存の視覚・言語モデル資産を活かしながら操作タスクを追加する方向と整合的である。