何が起きたか
研究チーム（CAU HAI Lab）は、VLAモデルの言い換え指示に対する頑健性を評価するベンチマーク「LIBERO-Para」と、言い換え難易度を定量化する指標「PRIDE」を発表した。arXivにプレプリント（2603.28301v1）を公開し、コードもGitHubで提供している。
詳細
LIBERO-Paraは、動作表現と物体参照を独立に変化させ、言語一般化を詳細に分析する統制されたベンチマークである。7つのVLA構成（0.6B〜7.5Bパラメータ）で評価したところ、言い換えにより性能が22〜52ポイント低下した。この低下は主に物体レベルの語彙変化によるもので、単純な同義語置換でも大きな低下が見られ、モデルが意味的接地ではなく表面的な一致に依存していることを示唆する。また、失敗の80〜96%は実行エラーではなく計画レベルの軌道乖離によるもので、言い換えがタスク識別を妨げることが分かった。PRIDEは、意味的・構文的要因を用いて言い換えの難易度を定量化する指標である。
Key Facts
| LIBERO-Paraは、動作表現と物体参照を独立に変化させる統制ベンチマークである。 | [1] |
| 7つのVLA構成（0.6B〜7.5B）で評価し、言い換えにより性能が22〜52ポイント低下した。 | [1] |
| 性能低下は主に物体レベルの語彙変化によるもので、単純な同義語置換でも大きな低下が見られた。 | [1] |
| 失敗の80〜96%は実行エラーではなく計画レベルの軌道乖離によるものである。 | [1] |
| PRIDEは、意味的・構文的要因を用いて言い換え難易度を定量化する指標である。 | [1] |
なぜ重要か
VLAモデルの実用化には、ユーザーが自然に言い換えた指示を理解できることが不可欠だが、今回の結果は現状のモデルがその点で大きな課題を抱えることを示す。LIBERO-ParaとPRIDEは、この課題を定量的に評価し、改善の方向性を探るための基盤となるだろう。