抑制スティック、局所性は脆い：VLAポリシーにおけるタスクベクトル否定の閉ループ標的・制御監査

本論文は、マルチタスクのvision-language-action (VLA)ポリシーに対するタスクベクトル減算の行動的局所性を、閉ループロボット制御の文脈で監査した研究である。具体的には、10種類すべてのLIBERO-Goalスキルに対して、スキルごとのタスクベクトル減算が、ターゲットスキルの抑制と非ターゲットスキル（コントロール）の保持に与える影響を体系的に評価している。その結果、減算は5スキルでターゲットとコントロールの分離（抑制成功）、3スキルで抵抗、2スキルで全体的崩壊という3つの異なるレジームを示すことを明らかにした。さらに、保持された初期状態では抑制可能な5つのターゲットは成功率0%を維持するが、コントロールの保持率はベースライン正規化で平均52%に留まり、各ターゲット抑制編集は少なくとも1つの無関係なコントロールに実質的な害を及ぼすことを示した。

先行研究では、タスクベクトル演算がモデル編集の閉形式手法として提案され、その有効性が主に静的タスクやオープンループ設定で評価されてきた。しかし、閉ループロボット制御における行動的局所性（ターゲット以外のスキルへの影響）は不明確であった。本研究は、VLAポリシーに対して、ターゲットとコントロールの両方を監査する閉ループ評価を初めて体系的に適用した点が優れている。また、連続回帰、離散トークン、フローマッチングという異なるアクションヘッドを持つポリシー間での分離の一貫性を検証し、タスクベクトルのコサイン類似度ではこの変動を説明できないことを示した点も新規である。さらに、マッチドノルムコントロールによる符号非対称性の特定や、再学習プローブによる行動マスキングの示唆など、従来の評価では見落とされていた現象を明らかにしている。

手法の肝は、閉ループのターゲット・アンド・コントロール監査フレームワークにある。具体的には、マルチタスクVLAポリシーから各スキルのタスクベクトルを計算し、それを減算した編集モデルを構築する。評価では、LIBERO-Goalの10スキルそれぞれについて、ターゲットスキルの成功率と、無関係なコントロールスキルの成功率をベースラインと比較して測定する。さらに、保持された初期状態（held-out initial states）でのテスト、追加のGoalパネル、Spatial、Object、Long-horizonパネルでの検証、マッチドノルムコントロールによる符号非対称性の分析、マルチベクトル編集のアンカーとスケール依存性、勾配ベースのベースラインとの比較、単一スキル再学習プローブなど、多角的な実験プロトコルを採用している。これにより、減算の効果を行動レベルで詳細に特徴付けている。

有効性の検証は、LIBEROベンチマークのGoal、Spatial、Object、Long-horizonパネルを用いた閉ループロボット操作タスクで行われた。Goalパネルの10スキルすべてで減算をテストし、5スキルでターゲットとコントロールの分離、3スキルで抵抗、2スキルで全体的崩壊を観察した。保持された初期状態では、抑制可能な5ターゲットは成功率0%を維持したが、コントロール保持率は平均52%に低下し、各編集が少なくとも1つのコントロールを害した。追加のGoalパネルでは、連続回帰、離散トークン、フローマッチングのアクションヘッドを持つポリシー間で分離が一貫していることを確認した。一方、Spatialでは分離が見られず、ObjectとLong-horizonではコントロール崩壊を観察した。また、マッチドノルムコントロールによりGoalアンカー周辺の符号非対称性を特定し、マルチベクトル結果がアンカーとスケールに依存することを示した。勾配ベースのベースラインはデータ依存の比較対象を提供するが、除去時データと最適化を要することを確認した。単一スキル再学習プローブは行動マスキングと整合的で…

議論として、タスクベクトル減算は高速だが脆い介入であると結論付けている。主な論点は、減算がターゲットスキルを抑制できる一方で、コントロールスキルへの副作用が顕著であり、局所性が保証されないことである。また、タスクベクトルのコサイン類似度が行動結果の変動を説明できないため、モデル編集の評価には閉ループのターゲット・アンド・コントロール監査が不可欠であると主張している。さらに、減算は編集時にはデータ・勾配フリーであるが、事前計算されたエキスパートデルタを前提としており、勾配ベースのベースラインは除去時データと最適化を必要とするため、実用上のトレードオフがある。再学習プローブの結果は、減算が真のアンラーニングではなく行動マスキングに過ぎない可能性を示唆しており、モデル編集の解釈に関する議論を喚起する。

次に読むべき論文は、要旨で参照されているタスクベクトル演算の基礎研究（例：Task Vector Arithmetic）、VLAポリシーのモデル編集に関する研究、LIBEROベンチマークの提案論文、およびモデル編集の局所性評価に関する研究が挙げられる。具体的には、タスクベクトルの原論文（Ilharco et al.）、VLAポリシーの代表例（RT-2、OpenVLAなど）、LIBEROの論文（Liu et al.）、およびモデル編集の局所性を扱った論文（例：MEND、ROMEなど）が関連する。ただし、要旨に明示的な参照がないため、一般名で示す。