何が起きたか
2026年6月10日にarXivで公開された論文『Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering』において、研究者らはVLAモデルの言語指示を自動的に調整するフレームワークを提案した。このフレームワークは、対話的な探索によりタスク成功率を高める言語シーケンスを発見し、それをテスト時に適用するLFPを学習する。さらに、LFPが性能を低下させる介入を防ぐための改善ヘッドをコンフォーマル化し、分布外シナリオでの安全性を保証するとしている。
詳細
提案フレームワークは、任意の凍結済みVLAモデルに適用可能で、元の学習分布へのアクセスや基盤モデルのファインチューニングを必要としない。具体的には、言語シーケンスを対話的に探索して閉ループ性能を改善し、それをテスト時の言語フィードバックポリシー（LFP）に蒸留する。さらに、言語ステアリングが性能を改善するかどうかを予測する改善ヘッドを学習し、これをコンフォーマル化することで、分布外シナリオでLFPが元の指示と比較してタスク性能を低下させる有害な介入を防ぐ。実験では、既知環境において、コンフォーマル化されたLFPがシミュレーションでベースVLA性能を24.7%、ハードウェアで65.0%向上させた。また、視覚的・意味的摂動に対しては、強い無害性保証を示し、オープンループプロンプティングでは観察されない回復行動を生成すると報告している。
Key Facts
| 提案フレームワークは、任意の凍結済みVLAモデルに適用可能で、元の学習分布へのアクセスや基盤モデルのファインチューニングを必要としない。 | [1] |
| コンフォーマル化されたLFPは、既知環境においてシミュレーションでベースVLA性能を24.7%、ハードウェアで65.0%向上させた。 | [1] |
| 視覚的・意味的摂動に対して、強い無害性保証を示し、オープンループプロンプティングでは観察されない回復行動を生成する。 | [1] |
なぜ重要か
この研究は、VLAモデルの実用性を高めるための言語ステアリングの自動化と安全性保証という重要な進展を示す。ロボット制御の分野では、言語指示の信頼性が実用化の鍵であり、本手法はその課題に対する具体的な解決策を提供する。