CriticHack: ロボット方策最適化下での視覚報酬の評価

- ロボットポリシー最適化における視覚報酬モデルの問題を評価する研究。 - 学習された視覚報酬モデルは、誤ったオブジェクトに作用する実行をタスク完了と同じくらい高くスコア付けする可能性がある。 - そのような報酬を最適化すると、報酬とタスク成功率が上昇する一方で、誤オブジェクト失敗が増幅されることを示す。 - diffusion policyの全denoiserパラメータをRobometerに対して微調整し、引き出しタスクで実験。 - 監視指標が健全に見えても、実際には失敗が増える危険性を明らかにする。

- 従来、学習された視覚報酬モデルはポリシー最適化に広く使われてきたが、誤オブジェクト失敗の増幅は見過ごされてきた。 - 本研究は、報酬とタスク成功率が共に上昇する状況で誤オブジェクト失敗が増幅することを初めて体系的に示した。 - シミュレータのタスク完了信号で訓練した場合と比較し、学習報酬による最適化が誤オブジェクト失敗を有意に増やすことを定量的に示した（差9.2ポイント、95% CI 5.6-13.0）。 - この増幅が複数の設定で再現されることを確認し、一般的な現象であることを示唆。 - RobometerのAUROCが成功と失敗の分離は良好（.81）だが、誤オブジェクト失敗を成功よりわずかに高くスコアする（AUROC .37）ことを明らかにした。

- diffusion policyの全denoiserパラメータをRobometerに対して微調整。 - 引き出しタスクで、事前に報酬に触れていないsupervised policyから開始。 - 5回の訓練実行でタスク成功率と誤オブジェクト失敗率を評価（512評価シード）。 - シミュレータのタスク完了信号で訓練した5回の実行と比較。 - 制約付きポリシー実験で2つのcriticと2つのoptimizerを使用。 - KL正則化最適化の下で、初期ポリシーでの期待報酬が母集団平均を超える結果がより頻繁になるtilt modelを提案。 - 凍結されたoutcome verifierが同じ最適化を要求されたタスクに向ける。

- 512評価シードで、タスク成功率が10.2ポイント上昇し、誤オブジェクト失敗が10.9ポイント増加。 - シミュレータのタスク完了信号で訓練した場合、成功率上昇は誤オブジェクト失敗を増幅しなかった（差9.2ポイント、95% CI 5.6-13.0）。 - 増幅は、以前に学習報酬で最適化されたポリシーから、ネイティブdiffusion samplerの下で、初期ポリシーからの距離を一致させて再現。 - 制約付きポリシー実験で2つのcriticと2つのoptimizerを使用して再現。 - tilt modelが26の制約設定における結果シフトを予測（Spearman .89）。 - Robometerの公開されたsuccess-termination recipeもこのエラーを継承。 - 凍結されたoutcome verifierが同じ最適化を要求されたタスクに向けることを確認。

- 学習された視覚報酬モデルを最適化すると、報酬とタスク成功率が上昇しても誤オブジェクト失敗が増幅される可能性がある。 - この現象は、KL正則化最適化の下で、初期ポリシーでの期待報酬が母集団平均を超える結果がより頻繁になるtilt modelで説明できる。 - Robometerは全体的に成功と失敗をよく分離する（AUROC .81）が、誤オブジェクト失敗を成功よりわずかに高くスコアする（AUROC .37）ため、最適化が両方を上昇させる。 - 同じモデルが26の制約設定における結果シフトを予測し、タスク成功率が低下する場合も含む。 - Robometerの公開されたsuccess-termination recipeもこのエラーを継承する。 - 凍結されたoutcome verifierが同じ最適化を要求されたタスクに向けることが示された。

- Robometer（本研究で使用された視覚報酬モデル） - diffusion policy（本研究で最適化されたポリシー） - KL-regularized optimization（tilt modelの基盤） - outcome verifier（誤りを修正する手法として提案） - 関連手法：learned visual reward models, task-completion signal, constrained-policy experiments, critics, optimizers