プランナーにおけるグッドハート:サンプリングベース制御は人間選好から学習した報酬を悪用する

人間の選好から学習した reward model に対し、MPPI などのサンプリングベース制御や best-of-$N$ 選択で探索を行うと、真の目的関数（true return）がどれだけ損なわれるかを測定・解析した研究。HalfCheetah と Hopper（crowd-sourced labels）、Meta-World の drawer-open と plate-slide（synthetic labels と著者2名による blind labels）で評価している。

- 従来は held-out label accuracy など reward model の予測精度で良し悪しを判断しがちだが、本研究は planner の探索強度が true return を最大76%低下させ得ることを示す。 - 具体例として human labels の drawer-open では 20 回中 0 回しか開かない一方、planner の起点となる cloned policy は 10 回中 10 回成功し、label accuracy は 0.75-0.97 に留まる。 - 単純な best-of-$N$ でも synthetic labels の verifier では単一の noisy action を下回ることを示した点が新しい。

- MPPI の重み付け則と best-of-$N$ 選択を対象に、planner の重みが提案からどれだけ離れるか（$\sqrt{\mathrm{KL}}$）と true return の関係を測定。 - $\chi^2$-regularized MPPI について、提案上の scorer 誤差の広がりで温度を設定すれば worst-case optimal であることを証明。 - その広がりが scorer 自身の誤差を超えると正の gain を保証できないこと、episode の return が per-step 項に厳密に分解され保証が selection 項を覆うことを示す。 - true return で順位付けした 100 組の proposal pair（oracle）と評価に使わない start states から校正する安全策を提案。

- HalfCheetah・Hopper の crowd-sourced labels、Meta-World の drawer-open・plate-slide で synthetic labels と著者2名の blind labels を用いて評価。 - 探索強度を上げた際の true return 低下（最大76%）と、drawer-open の成功率（0/20 対 10/10）を測定。 - 提案する校正則を5つの独立したセットで検証し、全 arm run で成功、plate-slide と drawer-open で cloned policy の return の平均86-94%を維持。 - plate-slide では human labels が synthetic labels より exploit されにくく、window-open では探索が助けになることも確認。

- 校正則は探索が有効な場面では慎重になり、安全側に倒れる傾向がある。 - ある人の比較から校正しても、その人から scorer が学習した bias は検出できず、判別困難な pair の補正や第二の人物による補正で被害を限定できる。 - 保証は selection 項に限られ、per-step 分解の他の項は対象外である点に限界がある。

- 本論文が比較・参照する MPPI、best-of-$N$、$\chi^2$-regularized MPPI、reward model の held-out label accuracy 評価。 - 関連する手法として model-predictive control、KL-regularized policy optimization、preference-based reward learning（RLHF 系）を次に読む候補として挙げる。