VLA-ACL: 行動整合性に基づく視覚トークン刈り込みによる効率的なVision-Language-Actionモデル

VLA-ACLは、Vision-Language-Action (VLA) モデルの推論コストを削減するための、Action Consistency Learningに基づくvisual token pruning手法である。 - 対象: ロボット操作を行うVLAモデル。 - 問題: 各制御ステップで長いtoken系列を処理するため計算コストが高く、リアルタイム展開を制限。 - 着眼: 入力の大部分を占めるvisual patchには冗長性がある。 - 提案: 軽量なvisual token pruning policyをaction-level supervisionで学習。 - 特徴: base VLAモデルは完全にfrozenのまま。

既存のvisual token pruningと比べて、以下の点が異なる。 - 既存手法はattention scoreやmotion thresholdなどの間接的なtraining-free heuristicに依存。 - あるいはbase VLAモデルの高コストなfine-tuningを必要とする。 - 提案手法はbase VLAをfrozenに保ちつつ、action-level supervisionでpruning policyを学習。 - token選択を下流の制御出力への影響に直接結びつける。 - 結果として、既存のfrozen-VLA pruning手法より強い性能-効率トレードオフを実現。

技術の肝はAction Consistency Learningによる軽量pruning policyの学習。 - base VLAモデルは完全にfrozen。 - 学習目的: pruned visual contextから生成されるactionが、full-context teacherのactionと一致するように促す。 - 補助監督としてground-truth actionも利用。 - これによりtoken選択が下流のcontrol outputに与える影響を直接反映。 - 軽量なvisual token pruning policyをaction-level supervisionで学習する点が中心。

LIBEROとreal-world manipulationタスクで検証。 - visual tokenを最大87.5%削減。 - 競争力のある性能を維持。 - 計算量を最大75%削減。 - 推論速度を1.5倍高速化。 - 既存のfrozen-VLA pruning手法より強い性能-効率トレードオフを示す。

要旨からは不明。 - 限界や失敗ケース、pruning policyの汎化性、real-worldタスクの詳細条件などは記述されていない。 - 議論の有無や具体的な論点は要旨からは不明。

要旨で参照/比較されている研究や関連手法を挙げる。 - 既存のtraining-free heuristicによるvisual token pruning（attention score、motion thresholdなど）。 - base VLAモデルをfine-tuningするpruning手法。 - frozen-VLA pruning methods。 - 評価に用いられたLIBERO。 - 関連するVLAモデルやvisual token pruningの一般的な手法。