日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
強化学習arXiv:2609.27068

HiRE: 後知恵報酬編集による方策ファインチューニング

HiRE: Hindsight Reward Editing for Policy Finetuning

シェア:XThreadsFacebookLINEはてブBluesky

成功・失敗軌跡を後知恵で対比し、基盤表現モデルの報酬を制御中心に校正する訓練不要の枠組みを提案。

詳しい要約

1. どんなもの？

- 事前学習済みロボットポリシーのfinetuning向けに、報酬設計のボトルネックを解消する訓練不要フレームワークHiREを提案。 - foundation representation modelsの広い知識と物理制御の認識を、成功・失敗trajectoryのhindsight比較で橋渡しする。 - 報酬の再編集により、denseでcontrol-awareなフィードバックを与え、value function collapseやreward hackingを防ぐ。 - 任意のfoundation representationsとRLアルゴリズムに柔軟に適用可能。

2. 先行研究と比べてどこがすごい？

- 従来のsparse rewardsはprocess feedbackを欠き、human-designed rewardsは高コストでバイアスがあり、foundation representations由来のsemantic rewardsはcontrol-centricでない。 - HiREはこれらの報酬レシピを一貫して上回り、denseでcontrol-awareなフィードバックを提供。 - 結果として、sample efficiency、安定したpolicy updates、より高いperformance ceilingsを実現し、base policiesの少なくとも3倍の性能を達成。

3. 技術・手法の肝は？

- 成功・失敗trajectoryをhindsightで対比し、foundation representation modelsをキャリブレーションする。 - 高報酬と予測されるが最終的に失敗する「trap states」を特定し、逆も同様に特定。 - trap statesには明示的にペナルティを与え、重要な成功状態には報酬をブーストする。 - 訓練不要で、任意のfoundation representationsとRLアルゴリズムに互換。

4. どうやって有効だと検証した？

- 実験により、HiREが他のreward recipesを一貫して上回ることを示す。 - denseでcontrol-awareなフィードバックにより、value function collapseとreward hackingを防ぐ。 - 優れたsample efficiency、安定したpolicy updates、高いperformance ceilingsを達成し、base policiesの少なくとも3倍の性能を実現。 - 定性的結果は https://hire-project.github.io で公開。

5. 議論はある？

- 要旨からは不明。 - ただし、trap statesの特定や報酬編集の一般性、他のfoundation representationsやRLアルゴリズムとの互換性については言及されている。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、sparse rewards、human-designed rewards、foundation representations由来のsemantic rewards、RLアルゴリズムが挙げられる。 - 同分野の定番として、Reinforcement Learning、foundation representation models、policy finetuningに関する研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoyi Niu, Zhengtao Han, Yufeng Ji, Zhongyu Li, Koushil Sreenath

分類: cs.RO

原文アブストラクト

Pre-trained robot policies always require finetuning to adapt to specific environments. Reinforcement Learning (RL) offers high performance potential because it improves action optimality rather than simply mimicking data. However, such potential depends heavily on reward quality. Sparse rewards lack process feedback, human-designed rewards are costly and biased, and semantic rewards from foundation representations are often not control-centric. We propose Hindsight Reward Editing (HiRE), a training-free framework to break this reward bottleneck. HiRE bridges the broad knowledge of foundation representation models with physical control awareness, by contrasting successful and failed trajectories in hindsight. It calibrates foundation representation models by identifying "trap states" that are predicted as high-rewarding states yet eventually result in failure, and vice versa. HiRE explicitly penalizes these traps while boosting rewards for critical successful states. This approach can be flexibly compatible with any foundation representations and RL algorithms. Experiments show that HiRE consistently outperforms other reward recipes by delivering dense, control-aware feedback that prevents value function collapse and reward hacking, thereby achieving superior sample efficiency, stable policy updates, and higher performance ceilings, e.g., at least 3x performance of the base policies. Qualitative results are at https://hire-project.github.io .

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI