VLA/操作2026/8/24arXiv:2608.23224

必要な時だけ考える：視覚言語行動操作における選択的スローパス介入のためのプロンプト権限制御

Think Only When Needed: Prompt-Authority Control for Selective Slow-Path Intervention in Vision-Language-Action Manipulation

シェア:X Threads Facebook LINE はてブ Bluesky

凍結された視覚言語行動（VLA）ポリシーに検索テキストを追加すると、プロンプト形式の変化が実行を支配し成功率が大幅に低下する「プロンプト形式崩壊」を特定し、候補生成とポリシー入力変更の許可を分離するプロンプト権限インターフェースTOWN-VLAを導入。これにより、シミュレーションと実機で成功率が向上した。

詳しい要約

1. どんなもの？

本論文は、Vision-Language-Action (VLA) ポリシーに対する検索拡張の際に、プロンプトへの介入が制御を破壊する問題を特定し、それを防ぐためのプロンプト権限インターフェース TOWN-VLA (Think Only When Needed) を提案する。検索で得たテキストを無条件にプロンプトに追加すると、成功率が92.47%から3.00%に低下することを示し、これを「プロンプト形式崩壊 (prompt-form collapse)」と名付ける。TOWN-VLAは、候補生成とポリシー入力の変更許可を分離し、固定の互換性ルールに基づいて、正規の簡潔な指示のみを許可し、それ以外は元のBaseプロンプトを復元する。

2. 先行研究と比べてどこがすごい？

従来の検索拡張は、凍結したVLAポリシーにテキストを追加することで性能向上を図るが、プロンプト形式の変化が実行を支配し、意味のある追加でも失敗することを見落としていた。本論文は、形式崩壊を体系的に特定し、プロンプトへの介入を制御する権限インターフェースを導入する点が新しい。

3. 技術・手法の肝は？

TOWN-VLAは、候補生成と権限付与を分離する。固定の互換性ルールが、正規の簡潔な指示（canonical compact instruction）を承認し、それ以外は元のBaseプロンプトを正確に復元する。これにより、プロンプト形式の崩壊を防ぎ、タスク署名を維持する。

4. どうやって有効だと検証した？

900の監査ルートで、525ルートがBaseを復元し、375の承認済みプロンプトがタスク署名を維持することを確認。LIBERO-Plusの4×7評価（各手法10,030エピソード）で成功率が69.5%から73.1%に向上（+362エピソード、95% CI 1.89–5.45ポイント）。物理PiPERアームで凍結したPiZeroFiveチェックポイントを用い、各手法150試行で成功率が52.7%から78.7%に向上（p=3.16×10^-6）。

5. 議論はある？

プロンプト権限は凍結コントローラに対して強制可能であるが、オラクルなしのアドミッション較正が次の展開目標とされる。要旨からは、形式崩壊の根本原因や、互換性ルールの設計に関する詳細な議論は不明。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、VLAポリシーや検索拡張に関する一般的な研究（例：Retrieval-Augmented Generation (RAG) やVision-Language-Actionモデル）が関連する。具体的には、凍結VLAポリシーへの検索拡張を扱った論文や、プロンプトの堅牢性に関する研究が次に読むべき候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiruo Zhou, Zelin Li, Xiwen Chen, Jiazhuo Li, Chenwei Wang, Huiming Chen, Xiaojun Zhu

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Retrieval can efficiently and effectively augment a frozen vision--language--action (VLA) policy without retraining, yet retrieved text becomes a control intervention once it enters the executed prompt. In a matched audit, raw appended text reduces mean success from 92.47\% to 3.00\%, while meaningful and length-matched meaningless appends both fail on all 500 states. This result identifies \emph{prompt-form collapse}: changing the instruction form, rather than adding useful semantics, can dominate execution. We introduce TOWN-VLA (Think Only When Needed), a prompt-authority interface that separates candidate generation from permission to alter the policy input. A fixed compatibility rule authorizes a canonical compact instruction; otherwise, the interface restores the original Base prompt exactly. Across 900 audited routes, every route follows this contract: 525 routes recover Base with matching hashes, and all 375 authorized prompts preserve the task signature. On a matched $4\times7$ LIBERO-Plus evaluation with 10{,}030 episodes per method, success rises from 69.5\% to 73.1\% ($+362$ episodes; 95\% CI 1.89--5.45 points), improving on six perturbation axes and all four suites. On a physical PiPER arm with a frozen \pizerofive{} checkpoint, success rises from 52.7\% to 78.7\% over 150 trials per method ($p=3.16\times10^{-6}$). Prompt authority is enforceable for a frozen controller; oracle-free admission calibration is the next deployment target.

arXivで原文を読む →arXiv概要ページ