検証損失を超えて：ロボット方策の事前学習におけるカバレッジと信頼性のダイナミクス

- ロボット学習における generative robot policies の pretraining を対象に、validation loss や平均 task success では捉えきれない policy の性質を分析する研究。 - 閉ループの pass@k を導入し、同一初期条件からの k 回 rollout で少なくとも 1 回成功する確率を評価する。 - pass@1 は平均 task success に対応。 - 大きな k の pass@k は、繰り返しサンプリング下で成功が到達可能かを測る。 - 多様な posttraining recipes を通じて、pretraining の checkpoint 選択や評価のあり方を再考する。

- 従来の pretraining 指標である validation loss や平均 task success（pass@1）は、直接展開と後段の posttraining の両方に有効な policy を特定するには不十分だと指摘。 - 大きな k の pass@k が、pass@1 では見えない posttraining の差を明らかにすることを示す。 - pass@1 が同程度でも large-k pass@k が異なる checkpoint は posttraining 性能が異なる。 - supervised pretraining 中に pass@k のピークが異なる checkpoint で現れ、coverage-reliability tradeoff があることを示す。

- 閉ループ pass@k を評価指標として用い、同一初期条件からの複数 rollout で成功到達可能性を測る。 - 多様な posttraining recipes に対して checkpoint ごとの pass@1 と large-k pass@k を比較分析。 - 提案する実践的介入は 2 つ。 - 閉ループ評価なしで coverage と reliability を両立する純オフラインの checkpoint 選択基準。 - 有限な demonstration set を超えて supervision を拡張する generative data augmentation 手順。

- 広範な posttraining recipes において、large-k pass@k が pass@1 では捉えられない posttraining 差を明らかにすることを示した。 - pass@1 が類似し large-k pass@k が異なる checkpoint 間で posttraining 性能が異なることを確認。 - supervised pretraining 中に pass@k が異なる checkpoint でピークとなる coverage-reliability tradeoff を観察。 - generative data augmentation が large-k pass@k を保ちつつ pass@1 を維持/改善し、coverage-reliability Pareto frontier を押し上げることを示した。

- pretraining の評価・checkpoint 選択・訓練手順が posttraining を明示的に考慮すべきだと主張。 - validation loss や平均 task success のみでは不十分で、large-k pass@k を含む評価の必要性を議論。 - coverage と reliability の tradeoff が訓練過程で生じることを踏まえ、そのバランスをどう取るかが論点。 - 具体的な限界や失敗事例、計算コストなどの詳細は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていないため、同分野の定番として以下が候補。 - 模倣学習に基づく robot policy pretraining（behavior cloning 系）。 - reinforcement learning による posttraining / finetuning 手法。 - pass@k を用いた code generation 分野の評価手法。 - generative data augmentation を用いたロボット学習のデータ拡張研究。