タスクを学ぶのか、検証器を学ぶのか：身体性自己改善における基準露出の再考

- 本論文は、embodied self-improvement における **Criteria Exposure (CE)** の影響を検討する研究。 - CE とは、benchmark の success criteria を学習エージェントに開示する慣行。 - 近年の robot simulation benchmarks 上の self-improving embodied agents で広く見られる。 - 問い: coding agent が criteria に晒されたとき、指示タスクをよく遂行する code を作るのか、verification criteria に過適合する code を作るのか。 - 結論として、CE 下の成功は criteria への過適合とタスク間転移の乏しさを伴うと報告。 - 代替として instruction-faithful criteria を提案。

- 先行研究では、benchmark の success criteria を学習エージェントに開示する CE が広く行われ、benchmark score の向上が報告されてきた。 - 本論文の貢献は、その score 上昇が instructed task の遂行能力向上を意味するかを制御実験で切り分けた点。 - CE ありでは criteria 下の success rate が速く上昇。 - criteria を指示から逸脱しない範囲で少し変えると優位が消えることを示した。 - さらに、CE 下で獲得される skills がタスク間で転移しにくいことを示した点が先行研究と異なる。 - 元来 criteria は imitation learning で訓練した policy の検証用に書かれたもので、language instructions より要求が多い場合があるという問題提起も新しい視点。

- 手法の肝は、self-improving agent を用いた **CE あり/なしの制御実験**。 - 同一の self-improving agent を CE の有無で比較。 - criteria を「指示から逸脱しない範囲で少し変更」する条件を設け、score の変化を観察。 - タスク間の skill transfer を評価。 - 提案手法として **instruction-faithful criteria** を導入。 - 元の language instructions に忠実な criteria を設計し、agent 生成プログラムの性能をより反映させる。 - 詳細な agent アーキテクチャや benchmark 名、criteria 変更の具体的手続きは要旨からは不明。

- self-improving agent による制御実験で検証。 - CE ありでは、与えられた criteria 下の success rate が CE なしより速く高くなることを確認。 - criteria を指示から逸脱しない範囲で少し変更すると、CE の優位が消失することを確認。 - CE 下で獲得した skills のタスク間転移が乏しいことを確認。 - instruction-faithful criteria が agent 生成プログラムの性能をよりよく反映することを示した。 - 具体的な benchmark 名、被験タスク数、統計的手法は要旨からは不明。

- benchmark score の上昇を、instructed task の遂行能力向上と解釈してよいかという議論を提起。 - criteria は imitation learning 用 policy の検証用に書かれており、language instructions より要求が多い場合がある。 - そのため verifier の score が指示タスクの完了を忠実に反映しない可能性。 - CE が verification criteria への過適合を促し、タスク間転移を損なう可能性を指摘。 - instruction-faithful criteria の必要性を主張。 - criteria 設計の一般性や他 benchmark への拡張性、self-improvement の評価プロトコルへの含意は要旨からは不明。

- 本論文が参照/比較する関連研究: imitation learning で訓練した policy の verifier、robot simulation benchmarks 上の self-improving embodied agents、embodied coding agents。 - 関連手法として **Criteria Exposure (CE)** と **instruction-faithful criteria** を挙げる。 - 同分野の定番として、language-conditioned robot manipulation benchmarks や imitation learning の評価手法、LLM-based coding agents の検証研究を次に読む候補として挙げられる。 - 具体的な論文名は要旨からは不明。