報酬設計2026/10/3arXiv:2610.04364

反復報酬設計の俯瞰的ベンチマーク

A Bird's-Eye View of Iterative Reward Design

LLMによる報酬関数の反復改善手法を統一環境で比較するベンチマークBIRDを提案し、単純な設計選択の組み合わせが既存手法より高性能であることを示した。

詳しい要約

1. どんなもの？

- LLM-based systems による reward code の生成・反復改善を統一評価する **BIRD (Benchmark for Iterative Reward Design)** を提案。 - 既存手法を同一の configuration と evaluation space で表現し、直接比較・ablation・新 component の試作を可能にする。 - MuJoCo, Meta-World, Assistax, HumanoidBench で評価。

2. 先行研究と比べてどこがすごい？

- 従来の LLM-based reward design は implementation details, feedback assumptions, evaluation environments が異なり比較困難だった。 - BIRD は matched feedback conditions と policy-training budgets の下で公平な比較を実現。 - 少数の simple design choices の組み合わせが prior work の手法より有意に高性能であることを示した。

3. 技術・手法の肝は？

- 既存手法を unified configuration と evaluation space に再表現する benchmark 設計。 - 個々の design choice を ablation できる枠組み。 - 同一 feedback 条件・policy-training budget で新 component を試作可能にする。

4. どうやって有効だと検証した？

- MuJoCo, Meta-World, Assistax, HumanoidBench の4環境で評価。 - 既存手法を BIRD 上で再現し、simple design choices の組み合わせと比較。 - 組み合わせが prior work の手法より有意に良い性能を示すことを確認。

5. 議論はある？

- simple baselines の強さを強調。 - 追加の algorithmic complexity がいつ iterative reward design を改善するかの更なる研究を動機付ける。 - 具体的な限界や反論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照されている LLM-based reward design の prior work（個別名は要旨からは不明）。 - 同分野の定番として RL, reward shaping, LLM-based reward generation に関する研究。 - コード: https://github.com/safety-research/bird

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Logan Mondal Bhamidipaty, Lauren Robson, Linda Petrini, Shengrui Lyu, Kamal Ndousse

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Designing effective reward functions in RL typically requires substantial expertise and trial and error. Recent work automates this process with LLM-based systems that generate and iteratively improve reward code using policy feedback. However, these methods are often hard to compare because they differ in implementation details, feedback assumptions, and evaluation environments. To address this, we introduce a Benchmark for Iterative Reward Design (BIRD) that expresses existing methods in a unified configuration and evaluation space. This lets us compare algorithms directly, ablate individual design choices, and prototype new components under matched feedback conditions and policy-training budgets. Across MuJoCo, Meta-World, Assistax, and HumanoidBench, we identify a small set of simple design choices that consistently improve performance. Combining these choices yields significantly better performance than the evaluated methods from prior work. Our results highlight the strength of simple baselines and motivate further study of when additional algorithmic complexity improves iterative reward design. Code is available at https://github.com/safety-research/bird.

arXivで原文を読む →arXiv概要ページ

反復報酬設計の俯瞰的ベンチマーク

詳しい要約

1. どんなもの？

2. 先行研究と比べてどこがすごい？

3. 技術・手法の肝は？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

原文アブストラクト

関連論文