日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.27698

VLA-Retain：視覚チューニングがVLAに及ぼす次元横断的影響のベンチマーク

VLA-Retain: Benchmarking Cross-Dimension Effects of Vision Tuning in VLAs

シェア:XThreadsFacebookLINEはてブBluesky

視覚モジュールのファインチューニングが対象条件以外のロバスト性に与える影響を、5つのVLAモデルと7つの摂動次元で体系的に評価するベンチマークを提案した。

詳しい要約

1. どんなもの？

- VLA (Vision-Language-Action) モデルにおける視覚モジュールの target-domain fine-tuning が、target 条件以外の robustness に与える cross-dimension 効果を測る benchmark「VLA-Retain」を提案 - 5 つの open VLA model を Camera-view または Sensor-noise データで tuning し、各 model の base checkpoint と比較 - 評価は LIBERO-Plus dataset 上で 7 つの perturbation dimension にわたり実施 - target gain と off-target 変化を分離し、adaptation 効果を architecture 差や generic forgetting から切り分けて比較する枠組み

2. 先行研究と比べてどこがすごい？

- 既存の robustness benchmark は fine-tuning なしの model のみを評価 - 既存の adaptation 研究は target での gain のみを報告 - 本研究は target gain と off-target 変化を分離し、adaptation 効果を architectural 差から切り離し、generic forgetting を排除し、tuning 選択を比較する点で新しい - 同一 model の base checkpoint との対比により cross-dimension retention を定量化

3. 技術・手法の肝は？

- 5 つの open VLA model を Camera-view または Sensor-noise データで tuning し、自身の base checkpoint と比較 - LIBERO-Plus dataset の 7 perturbation dimension 上で評価 - target gain と off-target gain を分離して測定 - 同一タスクの perturbation なし性能との比較で generic forgetting を切り分け - 広い training coverage と target-specific training を比較、DELTA-style feature preservation などの tuning 戦略も検証

4. どうやって有効だと検証した？

- 10 の model–domain 構成のうち 8 で mean off-target gain が負 - Camera-view tuning で X-VLA は target で +69.4 points だが他では平均 -4.6 points、OpenVLA-OFT は +39.3 と +1.4 points - これらの regression は perturbation なし同一タスクの性能低下だけでは説明できないと確認 - 広い training coverage は overall gain を上げるが dimension-level regression は消えない - DELTA-style feature preservation は X-VLA の mean off-target gain を +1.2 points に上げるが OpenVLA-OFT では -23.1 に低下

5. 議論はある？

- targeted vision tuning は局所的でなく、target gain は retention を予測しない - target-domain での成功だけでは不十分で、cross-dimensional retention が VLA adaptation の重要基準 - tuning 戦略は model-dependent であり、一律の手法適用は危険 - 広い training coverage でも dimension-level regression は残る - 要旨からは不明な点として、各 perturbation dimension の詳細や計算コストの議論は明示されていない

6. 次に読むべき論文は？

- X-VLA - OpenVLA-OFT - DELTA-style feature preservation - LIBERO-Plus dataset - 関連する VLA robustness benchmark や fine-tuning 研究(要旨で個別参照は限定的)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Borui Xu, Han Chen, Bingsheng He, Ming Wu, Jason Zeng, Michael Heinrich

分類: cs.CV, cs.AI

原文アブストラクト

Vision-language-action (VLA) models transfer knowledge from large-scale pretraining into robot control, but their manipulation performance remains sensitive to changes in observation conditions, which recent work addresses by fine-tuning the visual module on target-domain data. However, it remains unclear how such adaptation affects robustness beyond the target condition, as existing robustness benchmarks only evaluate models without fine-tuning and adaptation studies only report the target gain. Measuring this cross-dimension effect requires separating target gains from off-target changes, isolating adaptation effects from architectural differences, ruling out generic forgetting, and comparing tuning choices. Therefore, we introduce VLA-Retain, a benchmark that compares five open VLA models, tuned on Camera-view or Sensor-noise data, with their own base checkpoints on LIBERO-Plus dataset spanning seven perturbation dimensions. Our study reveals four findings. First, targeted vision tuning is not local, and its target gain does not predict retention. Mean off-target gain is negative in 8 of 10 model--domain configurations. Under Camera-view tuning, X-VLA gains $69.4$ percentage points on the target but loses $4.6$ points on average elsewhere, whereas OpenVLA-OFT gains $39.3$ and $1.4$ points, respectively. Second, these regressions are not explained only by performance loss on the same tasks without perturbations. Third, broader training coverage raises overall gain over target-specific training but does not eliminate dimension-level regressions. Fourth, tuning strategies are model-dependent, as DELTA-style feature preservation raises X-VLA's mean off-target gain to $+1.2$ points but lowers OpenVLA-OFT's to $-23.1$. Overall, these findings show that target-domain success alone is insufficient and highlight cross-dimensional retention as a key criterion for targeted VLA adaptation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI