無料の検証器は存在しない：ロボット政策の検証器に関するサーベイ

- ロボットポリシー用の検証器（verifier）に関するサーベイ。 - 検証器は候補行動を読み、その良さをスコアとして返す。 - vision-language-actionポリシーの評価と訓練の両方に使われる。 - 成功検出器、報酬モデル、ランタイムモニタ、安全フィルタ、時相論理仕様など多様。 - 約150の検証器を、availabilityとcredibilityの2軸で比較。 - 判断の供給者により、human、rule-based/formal、learned/pretrained、model-intrinsicの4家族に分類。 - 4家族を通じて、availabilityが上がるとcredibilityが下がる傾向を発見。 - 検証器自体の妥当性検証と、高スコアの意味を検討。 - 検証器の主張を検証可能にする9つの指標と、今後の方向性を提示。

- 従来の個別検証器の研究を横断的に整理した点が新しい。 - 約150の検証器をavailabilityとcredibilityの2軸で比較する枠組みを初めて提供。 - 判断の供給者による4分類を導入し、家族間のトレードオフを明らかに。 - availabilityとcredibilityの逆相関を体系的に示した。 - 検証器自体の妥当性検証方法を整理し、9つの指標を提案。 - 従来は個々の手法の性能評価が中心で、検証器の性質を横断的に議論した研究は少ない。

- 約150の検証器を収集し、availabilityとcredibilityの2軸で比較。 - availabilityは、判定のコスト、ロールアウト早期での判定到着、判定要求の頻度で定義。 - credibilityは、高スコアがタスクについてどれだけ教えるかで定義。 - 判断の供給者により、human、rule-based/formal、learned/pretrained、model-intrinsicの4家族に分類。 - 各家族の特性を分析し、availabilityとcredibilityの関係を調査。 - 検証器自体の妥当性検証として、humanラベルとの一致、訓練したポリシーの性能、reward hacking下の振る舞いの3つを特定。 - 検証器の主張を検証可能にする9つの指標を提案。

- 約150の検証器を調査し、availabilityとcredibilityの2軸で比較。 - 4家族間で、availabilityが上がるとcredibilityが下がる傾向を発見。 - 検証器自体の妥当性検証方法として、humanラベルとの一致、訓練したポリシーの性能、reward hacking下の振る舞いの3つが文献に現れることを確認。 - これらの分析に基づき、検証器の主張を検証可能にする9つの指標を提案。 - 具体的な実験やケーススタディによる検証は要旨からは不明。

- availabilityとcredibilityのトレードオフが存在し、availabilityが上がるとcredibilityが下がる。 - 判断の供給者に関わらず、無料の検証器は存在しない（No Free Checker）。 - 検証器自体の妥当性検証が重要であり、3つの measures が文献にある。 - 高スコアが何を教えるかについて議論の余地がある。 - 検証器の主張を検証可能にする9つの指標を提案。 - 今後の検証器の設計座標を提示。 - 具体的な限界や課題は要旨からは不明。

- 要旨で参照/比較されている研究：success detectors, reward models, runtime monitors, safety filters, temporal-logic specifications。 - 関連手法：vision-language-action policies, human verifiers, rule-based and formal verifiers, learned and pretrained verifiers, model-intrinsic verifiers。 - 検証器の妥当性検証に関する研究：agreement with human labels, performance of the policy it trains, behavior under reward hacking。 - 同分野の定番：robot policy evaluation, reward modeling, runtime verification, safety filtering, temporal logic。