日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.26487

SPAR: VLAモデルの構造的プルーニングと行動回復

SPAR: Structural Pruning and Action Recovery for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルのLLMバックボーンを構造的にプルーニングし、強化学習で操作性能を回復させる手法。パラメータを大幅削減しつつ成功率を向上させ、推論を約2倍高速化した。

詳しい要約

1. どんなもの？

- ロボット搭載の計算資源制約下で VLA モデルの推論コストを下げるための圧縮手法 SPAR を提案 - Structural Pruning and Action Recovery の略で、構造的 pruning と RL による性能回復を組み合わせる - 対象は $\pi_{0.5}$ の VLA モデル - LLM backbone を 2.34B から 0.09B、全体を 3.37B から 1.12B へ削減 - 約 96%（LLM）と 67%（全体）のパラメータを除去

2. 先行研究と比べてどこがすごい？

- 従来は supervised fine-tuning だけでは aggressive compression 後の manipulation 性能低下を回復しきれない - SPAR は pruning-aware tuning と post-pruning RL を組み合わせ、圧縮後の性能回復を図る - この圧縮率で RL により LIBERO 4 suite 平均成功率を 84.55% から 93.45% へ改善（+8.90pt） - 圧縮ポリシーで未pruningモデル比 $1.98\times$ の推論高速化を達成 - 中間次元に大きな冗長性があることを示唆

3. 技術・手法の肝は？

- LLM backbone の hidden 次元と feed-forward 中間次元を同時に構造的 pruning - pruning-aware tuning により圧縮に適応した重みを学習 - その後 reinforcement learning を適用し manipulation ポリシー性能を回復 - 圧縮と回復を段階的に行うパイプラインが肝 - 詳細なアルゴリズムや RL 設定は要旨からは不明

4. どうやって有効だと検証した？

- $\pi_{0.5}$ に適用しパラメータ削減量を報告 - LIBERO の 4 suite で平均成功率を評価 - RL 適用により 84.55% から 93.45% への改善を確認 - 未pruningモデルに対する推論速度比 $1.98\times$ を計測 - 具体的なベースライン比較や ablation の詳細は要旨からは不明

5. 議論はある？

- 中間次元に相当な冗長性が存在することを示唆 - post-pruning RL が compact policy の manipulation 性能回復に有効と主張 - aggressive compression 単体では supervised fine-tuning で回復しきれない点を議論 - 限界や失敗ケース、他タスクへの一般性は要旨からは不明

6. 次に読むべき論文は？

- $\pi_{0.5}$（本研究のベース VLA モデル） - LIBERO（評価ベンチマーク） - VLA モデルの圧縮/pruning に関する先行研究（要旨では個別名は不明） - supervised fine-tuning による圧縮後回復の関連研究 - RL によるロボット manipulation ポリシー改善の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shenli Zheng, Zhou Fang, Yuan Du, Yijiang Liu, Li Du

分類: cs.RO, cs.AI

原文アブストラクト

The limited onboard computing resources of robots make the inference demands of vision-language-action (VLA) models costly to accommodate. Reducing these demands through aggressive compression, however, can degrade manipulation performance beyond what supervised fine-tuning alone recovers. We present SPAR (Structural Pruning and Action Recovery), which simultaneously prunes the hidden and feed-forward intermediate dimensions of the large language model (LLM) backbone through pruning-aware tuning, then applies reinforcement learning (RL) to recover policy performance. Applied to $π_{0.5}$, SPAR reduces the language backbone from 2.34B to 0.09B parameters and the full model from 3.37B to 1.12B, removing approximately 96% and 67% of their parameters, respectively. At this compression level, RL raises average success across the four LIBERO suites from 84.55% to 93.45%, an 8.90-percentage-point gain. The compressed policy achieves a $1.98\times$ full-policy inference speedup over the unpruned model. These results identify substantial intermediate-dimension redundancy and show that post-pruning RL can recover manipulation performance in compact policies.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI