VLAコーパス選択における対照指示依存性の検証：関連性から意思決定価値へ

VLA（Vision-Language-Action）モデル向けのロボット実演コーパス選択を、単なる平均性能との相関ではなく下流ポリシーの優劣を保つランキング問題として扱う研究。paied instruction dependence（目標のみを変えたときに実演者の最初の意思決定が変わる割合）という診断指標を提案し、136個の独立シード付き四足歩行ナビゲーションコーパスで検証する。56コーパスで予測を構築し、80のheld-outコーパスで前向き評価する。

- 従来のコーパス選択は平均性能との相関で診断することが多いが、本研究は下流のpaired correctness（ペアごとの正しさ）を保持できるかを問う点が新しい。 - correctness-aware baselineにpaied instruction dependenceを追加すると平均絶対予測誤差が低下する点を示す。 - ただしprimary proper-log-scoreの増分は+0.059 nats（95% corpus-bootstrap CI [-0.027, 0.133]）にとどまり、事前指定したtop-20%比較では選択上の増分利得を確立できなかった点も正直に報告している。

- paied instruction dependence：目標だけを変えた際に実演者の最初の意思決定が変化する割合を測る指標。 - 136の独立シード付きquadruped-navigationコーパスを56（予測構築）と80（held-out前向き評価）に分割。 - correctness-aware baselineに指標を追加し、mean absolute prediction errorとproper log scoreで評価。 - 探索的にresponse decomposition（both-correct / both-wrong / unsigned switch statistic）を分離し、予測ランキングのミスマッチの構造的要因を分析。 - seed-to-seed agreementでheld-out endpointに回復可能なrank signalが残るかを確認。

- 56コーパスで構築した予測を80のheld-outコーパスで前向きに評価。 - 監査（audit）の信頼性と下流paired correctnessとの関連を確認。 - correctness-aware baselineへの追加でmean absolute prediction errorが低下。 - primary proper-log-score増分は+0.059 nats（95% CI [-0.027, 0.133]）で、事前指定top-20%比較では増分選択利得を確立できず。 - seed-to-seed agreementによりheld-out endpointにrank signalが残ることを示す。

- counterfactual response structureは信頼でき予測的でありながら、unsigned statisticに圧縮すると本設定では増分のdecision valueが限定的になる。 - 探索的response decompositionは、both-correctとboth-wrongを分離する方がunsigned switch statisticよりheld-out利得が大きいことを示唆し、予測ランキングのミスマッチの構造的要因となりうる。 - 結論として、outcome-relevant structureを保持し、支援対象の意思決定に対して検証される診断指標の必要性を訴える。 - 要旨からは不明な点として、他分野・他ロボットへの一般化やサンプルサイズの影響は明示されていない。

- 要旨で参照/比較されているcorrectness-aware baselineおよびunsigned switch statisticに関する研究。 - counterfactual response structureやresponse decompositionを扱うdiagnostics研究。 - VLA（Vision-Language-Action）モデル向けcorpus selectionの先行研究。 - 同分野の定番としてrobot demonstration corporaのranking・data selectionに関する一般的な手法。