VLA2026/8/10arXiv:2608.09448v1

VANE: 将来の視覚表現予測による視覚-言語-行動モデルの信頼性の高いテスト時訓練

VANE: Reliable Test-Time Training for Vision-Language-Action Models via Future Visual Representation Prediction

VLAポリシーのテスト時訓練を信頼性高く行うため、現在の文脈に基づいて適応を条件付け、実行した行動の将来の視覚的結果から学習し、将来の証拠に基づいて更新を選択的かつ可逆的に行うフレームワークを提案した。

詳しい要約

1. どんなもの？

VANEは、Vision-Language-Action (VLA) ポリシーをテスト時に適応させるための信頼性の高いTest-Time Training (TTT) フレームワークである。未ラベルの展開ストリームからポリシーを適応させるが、閉ループ操作での信頼性を重視し、適応を選択的かつ可逆的にする。具体的には、現在の視覚・言語コンテキストに基づいてプロンプト適応を条件付け、実行されたアクションの将来の視覚的結果から学習する。候補更新はライブポリシーから分離され、後続の観察で評価され、将来の証拠によって支持された場合のみコミットされる。

2. 先行研究と比べてどこがすごい？

従来のTTTは、共有適応空間が互換性のないタスク修正を混在させたり、オンライン更新が結果が分かる前に後続アクションを変更する問題があった。VANEは、適応を現在のコンテキストに条件付け、将来の視覚的結果から学習することで、これらの問題を解決し、適応を選択的かつ可逆的にする点が新しい。

3. 技術・手法の肝は？

VANEの手法の肝は、適応プロセスをライブポリシーから分離し、候補更新を将来の観察で評価してからコミットすることである。これにより、適応が選択的（将来の証拠がある場合のみ）かつ可逆的（悪影響があればロールバック可能）になる。また、プロンプト適応を現在の視覚・言語コンテキストに条件付けることで、タスク修正の混在を防ぐ。

4. どうやって有効だと検証した？

SimplerEnv WidowX環境で、対応するTTTベースラインと比較して平均成功率を3.2パーセントポイント向上させた。また、Google Robotでの結果から、展開時の利得はタスクとエンボディメントに依存することが示された。

5. 議論はある？

要旨からは、VANEの有効性はタスクとエンボディメントに依存するため、汎用性には限界がある可能性が示唆される。また、適応の選択性と可逆性のトレードオフや、将来の視覚的結果の予測精度が性能に与える影響などについての詳細な議論は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照されている研究は、TTTベースラインとSimplerEnv、Google Robotのデータセットである。次に読むべき論文としては、VLAポリシーのテスト時適応に関する関連研究や、将来予測を用いた強化学習手法などが考えられるが、具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongjin Ji, Guoyang Xia, Luoyang Sun, Fangxiang Feng, Lei Ren

分類: cs.RO, cs.CV

原文アブストラクト

Test-time training (TTT) offers a lightweight way to adapt vision--language--action (VLA) policies from unlabeled deployment streams, but it remains difficult to use reliably in closed-loop manipulation. A shared adaptation space can mix incompatible task corrections, while an online update can alter subsequent actions before its consequences are known. We introduce a reliable TTT framework for VLA policies (VANE). VANE conditions prompt adaptation on the current vision--language context and learns from the future visual consequences of executed actions. Candidate updates are isolated from the live policy, evaluated on subsequent observations, and committed only when supported by future evidence, making adaptation selective and reversible. On SimplerEnv WidowX, VANE improves average success by $3.2$ percentage points over the corresponding TTT baseline. Results on Google Robot further show that deployment-time gains remain task- and embodiment-dependent. Together, these results demonstrate a constrained, evidence-based approach to adapting VLA policies during interaction.

arXivで原文を読む →arXiv概要ページ

← 論文一覧