VLA2026/8/10arXiv:2608.21407

Mambaベースの選択的状態空間モデリングがSmolVLA視覚言語行動エキスパートの精度-計算量トレードオフを改善

Mamba-based Selective State Space Modeling Improves the Accuracy-Complexity Tradeoff of SmolVLA Vision-Language-Action Experts

シェア:X Threads Facebook LINE はてブ Bluesky

VLAモデルの精度と計算量のトレードオフを改善するため、SmolVLAの行動エキスパートにMambaの選択的状態空間モデリングを適用し、LIBEROベンチマークで長い実行ホライズンでの成功率向上を実証した。

詳しい要約

1. どんなもの？

本論文は、Vision-Language-Action (VLA) モデルの精度と計算複雑性のトレードオフを改善するため、SmolVLA の action expert における因果自己注意機構の代替として、Mamba の選択的状態空間モデルを導入した Mamba ベースの expert を提案している。実行ホライズン N（再計画までのアクション数）を変えた際の成功率と計算量の関係を、Transformer ベースの baseline と比較評価している。

2. 先行研究と比べてどこがすごい？

従来の SmolVLA は Transformer ベースの因果自己注意を用いており、N=1 の高頻度推論では高精度だが計算コストが大きく、N≫1 の長い実行ホライズンでは計算量は減るが成功率が低下する。本研究は、Mamba の選択的状態空間モデルを action expert に適用することで、長い実行ホライズンでも成功率の低下を抑え、かつパラメータ数を削減できる点が新しい。特に N=50 で 7.8% の成功率向上を達成し、N=1 では同等の成功率でパラメータ数を 24% 削減する。

3. 技術・手法の肝は？

手法の核心は、SmolVLA の action expert 内の causal self-attention を Mamba の selective state-space model に置き換えることである。Mamba は入力に応じて状態遷移を選択的に調整するため、長いシーケンスでも効率的に情報を保持でき、計算複雑性が低い。これにより、長い実行ホライズン N でも高い成功率を維持しつつ、パラメータ数を削減する。

4. どうやって有効だと検証した？

LIBERO benchmark suite を用いて、実行ホライズン N ∈ {1, 25, 50} の3条件で評価した。N=50 では Mamba expert が Transformer baseline より 7.8% 高い成功率を達成し、N=25 では 3.7% 高い成功率を示した。N=1 では成功率は同等でありながら、モデル全体のパラメータ複雑性を 24% 削減した。

5. 議論はある？

要旨からは、Mamba expert の利点が実行ホライズンが長いほど顕著になる理由や、N=1 での成功率が同等であることの詳細な分析は不明。また、LIBERO 以外のベンチマークや実機での検証は行われていない可能性がある。さらに、Mamba の選択的状態空間モデルが長いホライズンでなぜ有効なのかの理論的考察は要旨には含まれていない。

6. 次に読むべき論文は？

要旨で参照されている SmolVLA モデル、および Mamba の選択的状態空間モデルに関する論文が関連する。また、VLA モデルの精度と計算量のトレードオフを扱った研究や、LIBERO benchmark を用いた他の VLA 手法の比較研究が次に読むべき候補である。具体的には、SmolVLA の元論文、Mamba の元論文、および LIBERO benchmark の提案論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

分類: cs.RO, cs.AI

原文アブストラクト

Vision-language-action (VLA) models face a crucial tradeoff between their task success rate and the policy-call frequency. Executing a single action per inference ($N=1$) enables accurate robot control but comes at the cost of huge compute time overheads, making real-time implementation infeasible. On the other hand, executing longer action horizons before replanning ($N\gg1$) reduces compute complexity, but inevitably degrades the system's success rate. In order to improve the VLA accuracy-complexity tradeoff, this paper investigates Mamba's selective state-space modeling as an alternative to causal self-attention within the action expert of the popular SmolVLA model, widely used as a reference model for its highly accurate yet low complexity nature. We evaluate both the Mamba- and Transformer-based experts on the widely-adopted LIBERO benchmark suites across three execution horizons $N\!\in\!\{1,25,50\}$, respectively corresponding to high, moderate and low compute complexities. Our results remarkably show that the advantage of the Mamba expert increases with the execution horizon, indicating significant success retention under long execution horizons $N = 50$ and $N = 25$. When $N = 50$ actions are executed before replanning (i.e., corresponding to feasible real-time deployment), the Mamba expert outperforms the Transformer baseline by $7.8\%$. In addition, when $N = 25$ actions are executed before replanning, our Mamba expert outperforms the Transformer baseline by $3.7\%$. Finally, under per-action replanning ($N=1$), our Mamba variant matches the Transformer-based mean success rate while significantly reducing the overall model parameter complexity by $24\%$ thanks to Mamba's compute-efficient nature.

arXivで原文を読む →arXiv概要ページ