RACE: 較正付き累積スコアによるロールアウト不要なロボット方策チェックポイント選択

- 学習中の robot policy の checkpoint を、実機 rollout なしでランキングする指標 RACE を提案する研究。 - 固定した held-out の成功 trajectory 集合を用い、action deviation を state-conditional threshold で校正し、running product で累積して score 化する。 - 目的は、averaged validation loss による checkpoint ランキングが deployment 性能と不一致になる問題の改善。

- 先行の rollout-free 指標である averaged validation loss は、deployment 性能との ranking 不一致が生じる。 - その限界として、(1) policy が deviation から recovery できるかを考慮せず action deviation を罰する点、(2) 先行の deviation が execution を reference から離す場合でも後の reference prediction を等重みで扱う点を指摘。 - RACE は state-conditional threshold による校正と running product による累積でこれらに対処する。 - simulation では validation source を変えても RACE が baselines を上回り、複数の baselines は validation set 変更で急激に劣化する。

- 固定した held-out 成功 trajectory 集合を使い、rollout なしで checkpoint を ranking する metric を構成。 - action deviation を、類似 state における action 差分から導いた state-conditional threshold に対して校正する。 - 校正済み score を running product で集約し、大きな deviation が後続の reference prediction の寄与を減らす仕組み。 - 得られた cumulative score を時間方向および trajectory 間で平均し、checkpoint score とする。

- simulation で RACE が validation source 間で baselines を上回ることを示す。 - 複数の baselines は validation set が変わると急激に性能が劣化することを示す。 - 実 robot 上で、評価した policy backbones と難易度の異なるタスクにわたり、ranking が deployment success と整合することを確認。 - perturbation 分析により、baselines が同様に反応する場合でも、RACE が task success への影響が大きく異なる deviation を区別できることを示す。

- averaged validation loss の二つの限界(recovery を考慮しない deviation 罰、後続 reference prediction の等重み)を動機として議論。 - validation set の変更に対する baseline の脆弱性と、RACE の安定性を対比。 - perturbation 分析で deviation の質的差異を区別できる点を議論。 - 具体的な限界や失敗事例、計算コストなどの詳細は要旨からは不明。

- averaged validation loss を用いた rollout-free checkpoint selection の関連研究。 - 要旨で比較対象となる baselines の個別手法名は要旨からは不明。 - 同分野の定番として、robot policy の checkpoint selection や offline validation、imitation learning における validation 指標の研究を次に読む候補とする。