何が起きたか

arXivは2026年11月17日、視覚言語行動(VLA)モデルに与える実演例の選択方法を比較した論文を掲載した。π0-FASTを使う検索拡張型VLAをLIBEROの19タスクで評価し、閉ループの成功率から有用度を推定した上位5例のプールは、760件のペア評価で成功率66.4%だった。視覚的類似度で選んだ上位5例は55.7%、ランダム選択は55.5%だった。

詳細

論文では、実演プールを実行時に差し替えられる設定を作り、60個の固定サイズのプールに含まれる実演と閉ループ成功率の関係を回帰して、各実演の有用度を評価した。評価に用いた初期状態は、有用度のスコアリングに使った初期状態とは分けている。有用度選択は類似度選択を10.8ポイント上回り、18タスクのうち同率でない15タスクで上回った。モデルが事前に例を与えられていない12タスクでも差がみられた。 タスク内では、プールとテスト場面の視覚的類似度と成功率の順位相関はSpearman 0.10だった。10個のプールを直接探索する方法は、100回のロールアウトで有用度選択による改善の3分の2を得た。標準の20実演プールとの比較では、5例の有用度選択プールが560件のペア評価で7.0ポイント上回り、20例全体の検索順を有用度順にする方法は4.5ポイント上回った(p=0.055)。

Key Facts

論文は2026年11月17日にarXivに掲載された。[1]
LIBEROの19タスクで、上位5例を有用度で選んだプールの成功率は760件のペア評価で66.4%、視覚的類似度で選んだプールは55.7%、ランダム選択は55.5%だった。[1]
有用度選択は類似度選択を10.8ポイント上回り、p=3.2×10⁻⁶だった。[1]
標準の20実演プールと比べ、5例の有用度選択プールは560件のペア評価で7.0ポイント上回った(p=0.006)。[1]
20例のプール内で検索順を有用度順にした場合、成功率は4.5ポイント上回った(p=0.055)。[1]

本紙の見方

この研究の焦点はVLAのモデル構造や視覚エンコーダーを置き換えることではなく、推論時に参照する実演例を何で選ぶかにある。凍結したDINOv2埋め込みによる見た目の近さを、タスク遂行に役立つ例の代理指標として使う設計に対し、論文は閉ループでの成功を基準にした有用度を比較した。上位5例の有用度プールが類似度プールを上回り、類似度プールはランダム選択とほぼ同じだったという結果は、場面が似ていることと、行動を成功させる情報を含むことが同義ではない可能性を示す。ただし、これは論文が評価した設定での結果であり、あらゆるVLAやタスクに当てはまるとまでは言えない。 数字の読み分けも重要だ。タスク内で視覚類似度と成功率の順位相関はSpearman 0.10にとどまった一方、タスク間では場面の違いを区別する手掛かりとなり、二つのタスクが同じ場面を共有すると識別力が偶然水準まで下がったと論文は報告する。つまり、視覚類似度はタスクをまたぐ場面の違いには反応しても、同じタスク内でどの実演が成功に寄与するかを選ぶ尺度としては弱い、という構造が読み取れる。モデルが未経験の12タスクでも有用度選択が類似度選択を上回った点は、評価対象内での適用範囲を広げる材料だが、他のベンチマークや実機への一般化を示すものではない。 有用度の推定には閉ループ実行が関わるため、実演選択の改善は評価データやロールアウトをどう用意するかと切り離せない。論文では、最良プールを直接探す方法が100回のロールアウトで改善幅の3分の2を回収したとしており、精密な選定と探索に必要な実行回数との兼ね合いが論点になる。また、標準の20例を維持して検索順だけを変えた比較では差が4.5ポイント、p=0.055だった。5例に絞った比較の結果と同じ確度で読める数値ではなく、プールの構成と順位付けのどちらが寄与するかは分けて検証する必要がある。 したがって、実装上の次の確認点は、閉ループ成功率から得た有用度をどの程度のロールアウトで安定して推定できるか、別のモデルやタスクでも同様の差が出るか、実機での評価が成り立つかである。論文の結果はLIBERO上の固定済み検索拡張型VLAに関するものであり、実演例の選定基準を運用時にどう作り、更新するかという問いを示す一方、実環境での費用や安全性、継続的な更新方法までは抄録から確認できない。

なぜ重要か

この評価では、見た目の近さで選んだ実演プールの成功率はランダム選択とほぼ同じだった一方、閉ループ成功率から有用度を推定した上位5例では66.4%だった。VLAの実演例を検索する設計では、視覚類似度だけでなく、行動結果に基づく選定が有効かを、タスクや実行コストを含めて検証する必要があることを示す。