VLA2026/8/3arXiv:2608.02197v1

重要な場所を見る：視覚言語行動モデルのための適応的視覚精緻化

Look Where It Matters: Adaptive Visual Refinement for Vision-Language-Action Models

VLAモデルの視覚エンコーダに生じる注意アーティファクトを修正し、不確実性に基づいて高解像度の局所精緻化を行うフレームワークAtVLAを提案した。

詳しい要約

1. どんなもの？

AtVLAは、Vision-Language-Action (VLA) モデルの視覚エンコーダにおける注意アーティファクトを修正し、空間的に精密なロボット操作を改善するフレームワーク。学習可能なregister tokenを挿入し、不確実性に基づく局所的な高解像度リファインメントを組み合わせる。

2. 先行研究と比べてどこがすごい？

従来のVLAモデルは視覚表現が空間的に不正確で、特に物体位置や幾何学的情報の保持に課題があった。AtVLAは、注意アーティファクトが空間知覚能力と関連することを発見し、register tokenで情報のスピルオーバーを防ぐ点が新しい。また、不確実性ゲート付きの局所リファインメントで計算コストを抑えつつ精度を向上させる。

3. 技術・手法の肝は？

視覚エンコーダに学習可能なregister tokenを追加し、エンドツーエンドで訓練。register tokenが空間情報を担い、パッチトークンの注意分布をクリーンにする。さらに、アクションエキスパートが複数のアクションチャンクをサンプリングし、その不一致から不確実性を推定。不確実な予測に対してのみ、アクション条件付き注意ロールアウトでタスク関連領域を特定し、高解像度で再エンコードしてプレフィックスに追加し、リファインされたアクション生成を行う。

4. どうやって有効だと検証した？

LIBERO、SimplerEnv、単一視点の実世界ベンチマークで評価。LIBEROの平均成功率を94.2%から98.4%に、実世界成功率を46.5%から69.0%に改善。クロッピングは再計画ステップの約30%で発生し、総計算量はベースモデルの1.4〜1.6倍に抑えられた。

5. 議論はある？

要旨からは、register tokenの容量や数、リファインメントの解像度選択、不確実性閾値の調整などに関する議論は不明。また、計算オーバーヘッドが1.4〜1.6倍であるが、実時間制約への影響や、より複雑なタスクでのスケーラビリティは議論されていない。

6. 次に読むべき論文は？

要旨で参照されている先行研究として、Vision Transformerの注意アーティファクトに関する研究（例：register tokenを導入した論文）や、VLAモデルのベースライン（例：RT-2、Octoなど）が挙げられる。具体的には、"Vision Transformers Need Registers"や"RT-2: Vision-Language-Action Models"が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jin Cui, Yanbin Hu, Xinyue Long, Linkai Li, Boran Zhao, Pengju Ren

分類: cs.RO

原文アブストラクト

Visual representations of VLA models remain unreliable for spatially precise robotic manipulation. We uncover that vision encoders in VLAs also exhibit attention artifacts previously documented in generic Vision Transformers, and further show that, in embodied policies, these artifacts are closely associated with spatial perception capabilities acquired during post-training. As the encoder learns task-relevant information such as object location, depth ordering, and local geometry, limited global-token capacity causes part of this information to spill into low-information patch tokens. We introduce AtVLA, a framework that inserts learnable register tokens into the visual encoder. Trained end-to-end using only embodied data and the original action objective, these registers emerge as dedicated carriers of embodied spatial information, while the remaining patch tokens recover clean and spatially faithful attention distributions crucial for precise target localization and fine-grained contact. Clean attention restores reliable localization, but cannot recover geometric details lost in low-resolution observations. AtVLA therefore couples attention rectification with uncertainty-gated local refinement. The action expert samples multiple action chunks and estimates uncertainty from their disagreement; only for uncertain predictions, action-conditioned attention rollout identifies the task-relevant region, which is cropped, re-encoded at high resolution, and appended to the cached prefix for refined action generation. Across LIBERO, SimplerEnv, and a challenging single-view real-world benchmark, AtVLA improves the average LIBERO success rate from 94.2% to 98.4% and real-world success from 46.5% to 69.0%. The cropping is triggered on approximately 30% of replanning steps, resulting in only 1.4-1.6x the total computation of the base model under the representative deployment setting.

arXivで原文を読む →arXiv概要ページ

← 論文一覧