日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
強化学習arXiv:2610.13504

時間的近接性を超えて：強化学習におけるクレジット割り当てのための説明可能な世界モデル

Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

説明を用いて遠い過去の行動への報酬割り当てを改善するEWMを提案し、長距離タスクや推薦システムで性能向上を示した。

詳しい要約

1. どんなもの？

- 強化学習（RL）における信用割り当ての問題に対処する Explanatory World Models (EWM) を提案。 - 生成推薦システムなど、意思決定から数百〜数千インタラクション後に報酬が得られる設定を対象。 - 説明を用いて、実現した結果に寄与した可能性の高い過去のイベントを特定し、報酬を再分配する。 - フロンティア言語モデルでEWMを実装し、保守的な階層演算子で割引なしのエピソードリターンを保持しながら再帰的に報酬を再分配。 - 3つの説明バリアント（Halpernのactual causation、Lombrozoのexplanatory simplicity、Deutschのhard-to-vary explanations）を操作化。 - 長地平RLベンチマーク（Crafter、WordCraft）、公開逐次推薦ベンチマーク（KuaiRand）、産業規模の生成推薦システムで評価。

2. 先行研究と比べてどこがすごい？

- 標準的なRLは時間的近接性に基づいて報酬を伝播するため、遠くても重要な行動への信号が減衰し、サンプル効率が低下する。 - EWMは説明を用いて明示的な関連性に基づく信用割り当てを行い、この問題を緩和。 - CrafterとWordCraftではPPOとLaReを大幅に上回り、報酬が最も遅延する場合に最大の改善。 - KuaiRandではオフラインでSFTとLaRe、オンラインでA2Cを上回る。 - 産業用生成推薦システムのオフライン評価でRecallを大幅に改善し、行動プロキシを増加。

3. 技術・手法の肝は？

- Explanatory World Models (EWM) は、説明を用いて結果に寄与した過去のイベントを特定する帰属フレームワーク。 - フロンティア言語モデルで説明を生成し、学習信号として利用。 - 保守的な階層演算子により、割引なしのエピソードリターンを保持しながら報酬を再帰的に再分配。 - 3つの説明バリアント：Halpernのactual causation、Lombrozoのexplanatory simplicity、Deutschのhard-to-vary explanationsを操作化。 - これらを組み合わせて、構造的で再利用可能な信用割り当てを実現。

4. どうやって有効だと検証した？

- 2つの制御された長地平RLベンチマーク（Crafter、WordCraft）で評価。 - 公開逐次推薦ベンチマーク（KuaiRand）でオフラインおよびオンライン評価。 - 産業規模の生成推薦システムでオフライン評価。 - CrafterとWordCraftではPPOとLaReを大幅に上回り、報酬遅延が大きいほど改善が顕著。 - KuaiRandではオフラインでSFTとLaRe、オンラインでA2Cを上回る。 - 産業用推薦ではRecallを大幅に改善し、行動プロキシを増加。

5. 議論はある？

- 説明が遅延結果からの学習において構造的で再利用可能な信用を提供する可能性を示唆。 - 3つの説明バリアントの有効性を比較検討。 - 限界や課題については要旨からは不明。

6. 次に読むべき論文は？

- Halpernのactual causation - Lombrozoのexplanatory simplicity - Deutschのhard-to-vary explanations - PPO - LaRe - SFT - A2C - Crafter - WordCraft - KuaiRand

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Oriol Corcoll, Qiyao Wei, Ciarán Mark Gilligan-Lee

分類: cs.LG, cs.AI, cs.IR

原文アブストラクト

Generative Recommenders increasingly use Reinforcement Learning (RL) to optimize outcomes that may appear hundreds or thousands of interactions after a decision. Standard RL propagates reward according to temporal proximity rather than explicit relevance, attenuating the signal assigned to distant but important actions and creating a source of sample inefficiency. We introduce Explanatory World Models (EWM), an attribution framework that uses explanations to identify the earlier events that plausibly contributed to a realized outcome. We instantiate EWM with a frontier language model and use its explanations as learning signals using a conservative hierarchical operator that recursively redistributes reward while preserving the undiscounted episode return. To investigate what constitutes a useful explanation, we operationalize three complementary variants inspired by Halpern's actual causation, Lombrozo's explanatory simplicity, and Deutsch's hard-to-vary explanations. We evaluate EWM on two controlled long-horizon RL benchmarks, a public sequential-recommendation benchmark, and an industry-scale generative recommender. On Crafter and WordCraft, EWM substantially outperforms PPO and LaRe, with its largest gains when rewards are most delayed. On KuaiRand, EWM outperforms SFT and LaRe offline and A2C online. Finally, in an offline evaluation of an industry generative recommender, EWM considerably improves Recall and increases behavioral proxies. These results suggest that explanations can provide structured and reusable credit for learning from delayed outcomes.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI