VLA方策の指示依存性、言い換えで成功率が最大38.0ポイント変動　arXiv論文

何が起きたか

Vision-language-action（VLA）方策を扱う論文「Paraphrase Consensus Is Not Self-Consistency: Instruction Reliance and Robustness in VLA Policies」が、2026-10-14にarXivで公開された。論文は、LIBEROで微調整されたVLA方策が同じ10個の指示文で訓練と評価を行っており、指示の言い換えでbase OpenVLAの成功率が38.0ポイント低下したとしている。さらに、言語モデルで有効とされるテスト時のprompt ensemblingは、著者らが実施した範囲ではこの損失を回復できなかったとしている。

詳細

論文は、paraphrase consensusについても検証している。訓練指示が候補に含まれる場合、K個の言い換えのmedoid actionはbase OpenVLAで16.8ポイントの損失だった。一方、訓練指示を含めない場合は、言い換え群のmedoidが訓練指示に対して32.4ポイント低下し、confidence-based selectionも28.0ポイント低下した。単一の言い換えサンプルに対するmedoidはgreedy decodingより改善したが、なお訓練指示に対して27.6ポイント下回った。論文はまた、wrong-instruction probeで方策の成功が指示にどれだけ依存するかを測定し、3つの方策と4つのsuiteで、言い換えによる損失がこの依存度の高い場合にのみ現れると報告した。LoRA post-trainingを言い換え指示で行うと、1つの言い換えに対する効果は+2.0ポイントとなり、matched controlの-32.0ポイントと対照的だった。結果は2つのseedで再現され、OpenVLA-OFTにも転移し、保留した表現にも一般化したが、指示への依存そのものは変わらなかったとしている。

Key Facts

本紙の見方

この論文の新しさは、VLA方策の弱点を「性能が低い」ではなく「どの表現で指示するかにどれだけ引きずられるか」と定量化した点にある。LIBEROで訓練・評価ともに同じ10個の指示文を使う設定では、base OpenVLAが言い換えで38.0ポイント落ち、一般的な推論時手法であるprompt ensemblingでも戻らなかった。つまり、ここで問題になっているのは単純な分散の大きさではなく、指示表現に結びついた系統的な偏りである。 本紙の見方として重要なのは、paraphrase consensusが万能な安定化手法ではない点だ。訓練指示を含む場合でも16.8ポイントの損失が残り、訓練指示を含まない場合は32.4ポイント低下した。単一の言い換えサンプルでもmedoidはgreedy decodingより良かったが、訓練指示との差は27.6ポイント残った。集約でばらつきを抑えても、言い換え群が共有するバイアス自体は消えていない、という論文の整理は妥当だとみられる。 むしろ今回の結果は、VLAの評価が単一プロンプト前提では不十分であることを示す。wrong-instruction probeで3つの方策、4つのsuiteをまたいで依存度を測っている点からも、課題は個別モデルの調整ではなく、指示文の書き換えに対する頑健性をどう測るかにある。LoRA post-trainingで+2.0ポイントまで改善しても、依存そのものは変わらないため、学習法と評価法を分けて考える必要がある。 未確定の論点は、どのVLAアーキテクチャやデータ設定までこの傾向が一般化するか、また言い換えに強い評価指標を実運用でどう組み込むかである。論文は2つのseedとOpenVLA-OFTへの転移を示すが、より広いタスク群での再現性や、指示表現以外の頑健性との切り分けは今後の確認対象になる。

なぜ重要か

VLA方策を業務や研究で使う場合、同じ意味の指示でも表現が変わるだけで成功率が大きく落ちうることを示した点に意味がある。論文によれば、base OpenVLAでは38.0ポイント低下し、prompt ensemblingでも回復しなかったため、評価や導入では単一の定型文だけで性能を見ると実態を見誤る可能性がある。