日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.19438

言い換え合意は自己一貫性ではない:VLAポリシーにおける指示依存性と頑健性

Paraphrase Consensus Is Not Self-Consistency: Instruction Reliance and Robustness in VLA Policies

シェア:XThreadsFacebookLINEはてブBluesky

LIBEROで微調整したVLAポリシーは指示文の言い換えに弱く、テスト時のプロンプトアンサンブルでは回復しないことを示し、言い換え指示でのLoRA追加学習が頑健性を改善することを明らかにした。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA) ポリシーが指示文の言い換え(paraphrase)に対してどれだけ脆弱かを分析した研究。LIBERO で fine-tune された OpenVLA を中心に、同一意味の言い換えで成功率が -38.0 ポイント低下することを示す。さらに test-time prompt ensembling や paraphrase consensus(K 個の言い換えに対する medoid action)がこの損失を回復できないことを報告。指示依存度を測る wrong-instruction probe を提案し、LoRA post-training で言い換え指示に適応させると one-paraphrase 効果が +2.0 ポイントまで改善することを示す。

2. 先行研究と比べてどこがすごい?

- 従来、VLA ポリシーは LIBERO などで同一の指示文字列で訓練・評価されており、言い換えへの頑健性はほとんど検証されていなかった。 - 言語モデルで有効な test-time prompt ensembling が VLA では損失を回復しないことを示した点が新しい。 - paraphrase consensus や confidence-based selection といった集約手法が、共有バイアスを除去できずに失敗することを定量的に示した。 - wrong-instruction probe により、指示依存度が高いポリシーほど言い換えに弱いという関係を明らかにした。 - LoRA post-training が言い換え頑健性を大幅に改善し、かつ指示依存度を変えないことを示した。

3. 技術・手法の肝は?

- LIBERO で fine-tune した OpenVLA をベースに、訓練指示と同じ意味の言い換えを複数用意して成功率を比較。 - test-time prompt ensembling、paraphrase consensus(K 個の言い換えに対する medoid action)、confidence-based selection を評価。 - 単一言い換えのサンプルに対する medoid も比較し、分散低減とバイアス除去の違いを分析。 - wrong-instruction probe を導入し、誤った指示を与えたときの成功率低下から指示依存度を定量化。 - LoRA post-training を言い換え指示で行い、one-paraphrase 効果を測定。2 シードおよび OpenVLA-OFT で再現性を確認。

4. どうやって有効だと検証した?

- LIBERO 上の OpenVLA で、言い換えによる成功率低下(-38.0 ポイント)を測定。 - paraphrase consensus が訓練指示を含む場合 -16.8 ポイント、含まない場合 -32.4 ポイント、confidence-based selection が -28.0 ポイントとなることを確認。 - 単一言い換えの medoid が greedy decoding より改善するが訓練指示より -27.6 ポイント低いことを示す。 - 3 つのポリシーと 4 つのスイートで wrong-instruction probe を実施し、指示依存度が高いほど言い換え損失が大きいことを確認。 - LoRA post-training で one-paraphrase 効果が +2.0 ポイント(対照群 -32.0)に改善し、2 シード、OpenVLA-OFT、未見の言い換えでも再現。

5. 議論はある?

- 言い換えへの脆弱性は、ポリシーが指示に依存している度合いと関連するが、強いポリシーほど損失割合は小さい。 - test-time prompt ensembling や medoid 集約は、言い換え間で共有されるバイアスを除去できないため、根本的な解決にならない。 - LoRA post-training は言い換え頑健性を改善するが、指示依存度自体は変わらない。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- OpenVLA(base および OpenVLA-OFT) - LIBERO ベンチマーク - test-time prompt ensembling - paraphrase consensus / medoid action - confidence-based selection - LoRA post-training - wrong-instruction probe - Vision-Language-Action (VLA) ポリシー全般

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hanlong Li, Sihan Tan, Takeshi Ashizawa, Benjamin Yen, Kazuhiro Nakadai

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) policies fine-tuned on LIBERO are trained and evaluated on the same ten instruction strings, and rewording the instruction changes base OpenVLA's success by -38.0 points. Test-time prompt ensembling, which improves language models, does not recover this loss in any setting we ran. Paraphrase consensus (the medoid action over K paraphrases) costs base OpenVLA 16.8 points when the training instruction is a member. Without it, the medoid of the paraphrases scores -32.4 points relative to the training instruction, and confidence-based selection scores -28.0. The same medoid over samples of one paraphrase improves on greedy decoding but stays -27.6 points below the training instruction, consistent with aggregation reducing variance without removing the bias the paraphrases share. A wrong-instruction probe measures how much of a policy's success depends on the instruction. Across three policies and four suites, paraphrases cost a policy only where this share is high, and the stronger policies lose a much smaller fraction of it than base OpenVLA. LoRA post-training on paraphrased instructions reduces the one-paraphrase effect to +2.0 points, against -32.0 for a matched control, reproduces across two seeds and on OpenVLA-OFT, transfers to withheld phrasings, and leaves the policy's reliance on the instruction unchanged.

関連論文

PR本紙発行元 EmplifAI