VLA2026/8/10arXiv:2608.09448v2

VANE: 将来の視覚表現予測による視覚-言語-行動モデルの信頼性の高いテスト時訓練

VANE: Reliable Test-Time Training for Vision-Language-Action Models via Future Visual Representation Prediction

VLAポリシーのテスト時訓練を信頼性高く行うため、現在の文脈に基づいて適応を条件付け、実行した行動の将来の視覚的結果から学習し、将来の証拠に基づいて更新を選択的かつ可逆的に行うフレームワークを提案した。

詳しい要約

1. どんなもの？

VANEは、Vision-Language-Action (VLA) ポリシーをテスト時に適応させるための信頼性の高いTest-Time Training (TTT) フレームワーク。実行されたアクションの将来の視覚的結果を予測し、その証拠に基づいてポリシーの更新を選択的かつ可逆的に行う。

2. 先行研究と比べてどこがすごい？

従来のTTTは、共有適応空間がタスク修正を混在させたり、オンライン更新が結果を確認する前に後続アクションを変更する問題があった。VANEは、現在の視覚言語コンテキストに条件付け、将来の視覚的結果から学習し、更新をライブポリシーから分離して評価し、将来の証拠が支持する場合のみコミットすることで、これらの問題を解決する。

3. 技術・手法の肝は？

VANEは、プロンプト適応を現在の視覚言語コンテキストに条件付け、実行されたアクションの将来の視覚的結果を予測する。候補更新はライブポリシーから分離され、後続の観察で評価され、将来の証拠が支持する場合のみコミットされる。これにより、適応が選択的かつ可逆的になる。

4. どうやって有効だと検証した？

SimplerEnv WidowXで、対応するTTTベースラインと比較して平均成功率を3.2パーセントポイント向上。Google Robotでの結果は、デプロイ時の利得がタスクとエンボディメントに依存することを示した。

5. 議論はある？

要旨からは、VANEの有効性がタスクとエンボディメントに依存することが示唆されるが、その理由や限界についての詳細な議論は不明。また、将来の視覚的結果の予測がどの程度正確であるか、更新の選択性がどのように保証されるかなどの詳細も要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されているTTTベースラインや関連手法。具体的には、Test-Time Training (TTT) の元論文や、Vision-Language-Action (VLA) モデルに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongjin Ji, Guoyang Xia, Luoyang Sun, Fangxiang Feng, Lei Ren

分類: cs.RO, cs.CV

原文アブストラクト

Test-time training (TTT) offers a lightweight way to adapt vision--language--action (VLA) policies from unlabeled deployment streams, but it remains difficult to use reliably in closed-loop manipulation. A shared adaptation space can mix incompatible task corrections, while an online update can alter subsequent actions before its consequences are known. We introduce a reliable TTT framework for VLA policies (VANE). VANE conditions prompt adaptation on the current vision--language context and learns from the future visual consequences of executed actions. Candidate updates are isolated from the live policy, evaluated on subsequent observations, and committed only when supported by future evidence, making adaptation selective and reversible. On SimplerEnv WidowX, VANE improves average success by $3.2$ percentage points over the corresponding TTT baseline. Results on Google Robot further show that deployment-time gains remain task- and embodiment-dependent. Together, these results demonstrate a constrained, evidence-based approach to adapting VLA policies during interaction.

arXivで原文を読む →arXiv概要ページ

← 論文一覧