効率的なVLAを決めるもの：アクションヘッド設計・スケーリング・レイテンシの探求

Vision-Language-Action (VLA) モデルは pretrained vision encoder、language backbone、action head から成るが、latency を揃えた制御条件下で各要素の相対的寄与は未確立。本研究は backbone を SigLIP2 と Qwen2.5 に固定し、training pipeline を統一して action-head 設計と module scale を網羅的に sweep し、各構成に実測 on-device latency を対応付けて評価する。 - 目的: VLA の効率を左右する設計要因を特定 - 成果: EffVLA という compact モデルを提案 - 特徴: 標準 LIBERO で最强の open-source VLA に匹敵、LIBERO-Plus の多くの perturbation 軸で優位、低 latency、実機 SO-ARM101 へ recipe 変更なしで転移

従来の VLA 研究は backbone や action head の寄与を個別に評価することが多く、latency を揃えた制御比較が欠けていた。本研究は backbone family と training pipeline を固定し、action-head 設計と scale を系統的に sweep して latency と対で評価する点が新しい。 - 先行研究との違い: 制御された条件下で action head の初期化が支配的要因であることを示す - すごい点: alignment が他の軸（flow matching、decoder の重さ、inference budget）の効果を説明することを発見 - 実用的意義: 今日の π-series VLA が使う規模付近で capacity の収益が急減することを示し、EffVLA で低 latency を実現

backbone を SigLIP2 と Qwen2.5 に固定し、training pipeline を統一。action-head の設計（decoder architecture、loss、inference budget）と module scale を sweep し、各構成で on-device latency を実測。 - 肝: action head の性能は初期化に主に支配される - 具体的操作: language backbone の最後の transformer layers を head にコピーするのが最大の lever で latency コストなし - 他の軸への影響: alignment が flow matching や重い decoder の効果を反転させる - 解釈: representation transfer として、aligned head は instruction の object nouns に attention し、backbone と weight space で近くに留まる - 注意: alignment は初期化によってのみ…

標準 LIBERO ベンチマークで最强の open-source VLA と比較し、LIBERO-Plus の perturbation 軸で評価。さらに実機 SO-ARM101 アームへ recipe 変更なしで転移。 - 比較: EffVLA が LIBERO で匹敵、LIBERO-Plus の多くの軸で優位 - 効率: より低い latency を実測 - 実機: SO-ARM101 で動作を確認 - 制御: backbone と training pipeline を固定し、action-head 設計と scale を sweep して latency と対で評価

alignment が action-head 性能を支配するという解釈は、初期化によってのみ達成されるため、測定を最もよく整理する説明として提示され、因果は未証明。 - 限界: alignment の因果を確定する制御実験は未実施（名前は挙げられているが要旨では詳細不明） - 他の軸: flow matching と重い decoder は head が misaligned な間のみ有効で、aligned になると逆効果 - inference: 追加の inference passes は測定可能な利益なし - capacity: alignment 後のみ scale が有効だが、今日の π-series VLA 規模付近で収益が急減 - 議論: expressiveness が alignment の欠如を代替する可能性

要旨で参照/比較されている研究や関連手法を挙げる。 - π-series VLAs: 今日の VLA 規模の基準として言及 - LIBERO: 標準ベンチマーク - LIBERO-Plus: perturbation 軸の評価 - SigLIP2: vision encoder - Qwen2.5: language backbone - flow matching: action head の loss として比較 - SO-ARM101: 実機アーム - 同分野の定番: OpenVLA、RT-2 など（要旨では明示されず一般名として）