VLA2026/9/10arXiv:2609.11310

モデルはすでに知っている：教えずに問い方を学ぶ、視覚言語モデルの少数ショット適応のためのソフトプロンプティング

Your Model Already Knows Don't Teach It, Learn to Ask It: Soft Prompting for Few-Shot Adaptation of Vision-Language Models

シェア:X Threads Facebook LINE はてブ Bluesky

視覚言語モデルの少数ショット物体検出において、バックボーンを凍結したまま少数の連続プロンプトトークンを最適化するソフトプロンプティングを検討し、プロンプト配置と初期化の設計選択を明らかにした。LoRAと同等精度を2万倍少ないパラメータで達成し、破滅的忘却も回避できることを示した。

詳しい要約

1. どんなもの？

- 対象は vision-language models (VLMs) を用いた few-shot object detection。 - aerial, industrial, medical など out-of-domain 設定で、注釈付き画像はわずか10枚。 - 既存の adaptation は discrete prompt optimization と LoRA fine-tuning が主流。 - 本論文は第三の選択肢 soft prompting を再検討する。 - 少数の連続 prompt token のみを最適化し、pretrained backbone は凍結する。 - 検出以外に RoboCasa manipulation の $\pi_{0.5}$ vision-language-action policy にも拡張。

2. 先行研究と比べてどこがすごい？

- 既存の discrete prompt optimization や LoRA fine-tuning と比較。 - 1〜3個の学習 token(平均7,168パラメータ)で、Roboflow20-VL の最良 LoRA 構成に匹敵(14.2 mAP, 10-shot)。 - 学習パラメータ数は LoRA より 20,000倍以上少ない。 - LoRA は忘却を引き起こし、同精度の rank で NaturalBench VQA 精度が相対35%低下、最大 rank で56%低下。 - soft prompting は pretrained 性能を変えず、忘却がない。 - 学習 token は重みではなく prompt のように振る舞い、再学習なしで新しいモデルへ転移(+0.8 mAP on Qwen3.5-9B)。

3. 技術・手法の肝は？

- soft prompting: 少数の連続 prompt token を最適化し、backbone は凍結。 - 設計上の鍵は prompt token の配置。 - visual token と text token の cross-modal boundary に置くと他配置より良い(10.0 vs. 8.4 mAP)。 - 初期化も重要。 - empty space token からの初期化が semantic 初期化や random 初期化より優れる。 - 学習 token は verbalize 可能で、読める prompt に変換できる。 - RoboCasa では gradient bottleneck に token を置くと効果的。

4. どうやって有効だと検証した？

- Roboflow20-VL で 10-shot 設定の mAP を評価。 - LoRA 構成とパラメータ数・精度を比較。 - NaturalBench VQA で忘却の有無を検証。 - 学習 token を Qwen3.5-9B へ転移し +0.8 mAP を確認。 - verbalize した prompt を prompt-search 手法と比較(DetPO に匹敵、GEPA を上回る)。 - RoboCasa manipulation で $\pi_{0.5}$ policy を評価し、3タスク中2つで LoRA baseline に匹敵。

5. 議論はある？

- soft prompting は最適化が難しく、random seed 間の分散が高い。 - 一方で忘却がなく、pretrained 性能を保つ点が LoRA との大きな違い。 - 学習 token は重みではなく prompt として振る舞う。 - 現代の VLM は専門領域に必要な多くを既に符号化しており、課題は「どう問いかけるか」であると示唆。 - 検出以外の manipulation にも拡張可能性を示す。

6. 次に読むべき論文は？

- LoRA fine-tuning(比較対象) - discrete prompt optimization(比較対象) - DetPO(比較対象の prompt-search 手法) - GEPA(比較対象の prompt-search 手法) - NaturalBench VQA(忘却評価に使用) - Roboflow20-VL(評価データセット) - Qwen3.5-9B(転移先モデル) - $\pi_{0.5}$ vision-language-action policy(RoboCasa で使用)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gautam Rajendrakumar Gare, Siyi Li, Hewei Wang, Cesar Daniel Hernandez, Wei Zhao, Wolfgang M. Pauli, John Galeotti, Deva Ramanan

分類: cs.CV, cs.AI, cs.LG, eess.IV, stat.ML

原文アブストラクト

We address few-shot object detection with vision-language models (VLMs) in out-of-domain settings such as aerial, industrial, and medical imagery, using only ten annotated images for supervision. Existing adaptation methods are discrete prompt optimization and LoRA fine-tuning. We revisit a third option: soft prompting, where a small number of continuous prompt tokens are optimized while the pretrained backbone remains frozen. We identify two key design choices. First, placing prompt tokens at the cross-modal boundary between visual and text tokens outperforms other placements (10.0 vs. 8.4 mAP). Second, initializing prompts from the empty space token outperforms semantic and random initialization. With these choices, one to three learned tokens (7,168 parameters on average) match the best LoRA configuration on Roboflow20-VL (14.2 mAP, 10-shot) while training over 20,000x fewer parameters. Soft prompting remains harder to optimize, exhibiting higher variance across random seeds. Unlike LoRA, however, it causes no forgetting: the LoRA rank matching our accuracy reduces NaturalBench VQA accuracy by 35% relative, rising to 56% at the largest rank, whereas soft prompting leaves pretrained performance unchanged. The learned tokens behave like prompts rather than weights. They transfer to a newer model without retraining (+0.8 mAP on Qwen3.5-9B) and can be verbalized into readable prompts competitive with prompt-search methods (matching DetPO and outperforming GEPA). The approach also extends beyond detection. On RoboCasa manipulation tasks, the frozen $π_{0.5}$ vision-language-action policy benefits from soft prompting, matching the LoRA baseline on two of three tasks when tokens are placed at the gradient bottleneck. These results suggest modern VLMs already encode much of what is needed for specialized domains; the challenge is learning how to ask.

arXivで原文を読む →arXiv概要ページ