VLA/テスト時拡張2026/8/18arXiv:2608.17484v1

検索前に再利用せよ：具現化マルチモーダルポリシーのテスト時拡張における余裕と相補性の診断

Reuse Before You Retrieve: Diagnosing Headroom and Complementarity for Test-Time Augmentation of Embodied Multimodal Policies

シェア:X Threads Facebook LINE はてブ Bluesky

凍結された視覚-言語-行動(VLA)ポリシーをテスト時に改善する際、追加サンプリングと外部デモ検索のどちらが有効かを、回復可能な余裕と検索相補性という2つの指標で診断し、選択器が性能を向上させることを示した。

詳しい要約

1. どんなもの？

本論文は、凍結されたvision-language-action (VLA)ポリシーをテスト時に改善するための介入方法（追加サンプリングと外部デモンストレーションの検索）の選択問題を扱う。recoverable headroomとretrieval complementarityという2つの測定可能な要因を導入し、エピソードレベルのリトライセレクタを提案する。

2. 先行研究と比べてどこがすごい？

従来はテスト時拡張の手法が個別に提案されていたが、どの介入が実際に必要かを判断する指針が乏しかった。本研究は、ポリシーの確率的ロールアウト内に既に存在する改善可能な行動（headroom）と、外部の行動事前分布が埋めるギャップ（complementarity）を分離して定量化し、介入選択のための経験的基盤を提供する点が新しい。

3. 技術・手法の肝は？

手法の肝は、recoverable headroom（ポリシーの確率的ロールアウト内に既に存在する改善可能な行動の量）とretrieval complementarity（外部の行動事前分布が埋める測定可能なギャップ）を定義し、エピソードレベルのリトライセレクタを設計した点。セレクタはリトライ可能または並列実行の下で、追加サンプリングと検索を組み合わせて選択する。

4. どうやって有効だと検証した？

LIBEROベンチマークで複数の凍結VLAバックボーン（OpenVLAを含む）に対して評価し、リトライセレクタが最大21.0成功率ポイントの改善を示し、recoverable headroomとよく相関することを確認。また、異なるロボットとシミュレータへの転移、劣化した観測下での有効性も検証。検索は行動事前分布ギャップが最も大きいポリシーで改善し、選択と組み合わせるとさらなる向上が見られた。

5. 議論はある？

議論として、autoregressive OpenVLAの実験から、利用可能なheadroomと候補ロールアウトをランク付けする能力の区別が示された。また、検索はポリシーの行動事前分布ギャップに依存するため、すべてのポリシーに有効ではない。要旨からは、セレクタの汎用性や限界についての詳細は不明。

6. 次に読むべき論文は？

要旨で参照されている研究は明示されていないが、関連手法としてtest-time augmentation、retrieval-augmented generation、frozen VLA policies（例：OpenVLA）が挙げられる。次に読むべきは、VLAポリシーのテスト時拡張に関する既存研究や、retrieval-augmented policiesの研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhwan Jeong, Kuk-Jin Yoon

分類: cs.RO

原文アブストラクト

Frozen vision-language-action (VLA) policies are increasingly improved at test time by sampling additional policy behaviors or introducing external demonstrations. Yet there is little guidance for deciding which intervention a deployed policy actually needs. Additional sampling is useful only when better behavior already exists within the policy's stochastic rollouts and can be identified, whereas retrieval is most useful when the relevant action prior is not reliably represented by the policy. We study this decision through two measurable factors, recoverable headroom and retrieval complementarity, which characterize how much useful behavior is already available to recover and whether an external action prior fills a measurable gap. We evaluate an episode-level retry selector under retryable or parallel execution, together with retrieval across multiple frozen VLA policies and environments. The selector consistently recovers substantial latent capability across all tested VLA backbones on LIBERO, with gains of up to 21.0 success-rate points that closely track recoverable headroom. It also transfers to a different robot and simulator and remains effective under degraded observations, while experiments with autoregressive OpenVLA illustrate the distinction between available headroom and the ability to rank candidate rollouts. Retrieval behaves differently, improving the policy with the largest measured action-prior gap and providing further gains when combined with selection. Together, these results provide an empirical basis for characterizing test-time augmentation opportunities by separating capability that can be recovered from the frozen policy from behavioral priors that may need to be introduced externally.

arXivで原文を読む →arXiv概要ページ

← 論文一覧