日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2610.03196

報酬ハッキングを超えて：段階的人型学習パイプラインの4層におけるプロキシ乖離

Beyond Reward Hacking: Proxy Divergence Across Four Layers of a Staged Humanoid Learning Pipeline

シェア:XThreadsFacebookLINEはてブBluesky

脚式ロボットの強化学習パイプラインを構成する4つのプロキシ（報酬・カリキュラム・評価・参照動作）がそれぞれ目標から乖離する仕組みを分析し、各層の代替定式化を提案。シミュレーション人型ロボットのPPO学習で実測例を示す。

詳しい要約

1. どんなもの？

- 脚式ロボットの強化学習パイプラインを4層のプロキシ（報酬、カリキュラムゲート、評価統計、参照動作）として捉え、各層の乖離メカニズムと対策を論じる。 - 従来は報酬のみを最適化対象とし、仕様失敗（reward hacking）を報酬に限定していた。 - シミュレーション上の1.91mヒューマノイドに対するPPOポリシーを4段階・13,500イテレーションで学習し、測定例を示す。

2. 先行研究と比べてどこがすごい？

- 従来は報酬のみをプロキシと見なしreward hackingを報酬に帰着。 - 本研究は4層すべてが同じ形式的意味でのプロキシであり、各層に固有の乖離メカニズムと再定式化があると主張。 - 具体例として、平均誤差に基づくカリキュラムゲートがスキル不在でもレート限界まで進むこと、同期リセットが歩容位相をエイリアシングし0.5m/sの押しを2.0m/sより危険と誤判定することを示す。

3. 技術・手法の肝は？

- 各層で従来定式化、乖離条件、代替案を提示。 - L1：二次カーネルが平坦な箇所に一次コストを導入。 - カリキュラムゲート：平均ではなくピーク・結果統計、到達可能性・情報チェック。 - 評価：決定論的かつ位相非同期化。 - カリキュラム状態をモデルの一部として扱う。 - 参照動作：実現可能性優先設計と残差フィードフォワード。 - 関数保存的入力拡張によりポリシーを再学習せず成長させる。

4. どうやって有効だと検証した？

- シミュレーション上の1.91mヒューマノイドでPPOポリシーを4段階・13,500イテレーション学習。 - カリキュラムゲートがスキル不在でもレート限界まで進む例を測定。 - バッチ押しテストで同期リセットが歩容位相をエイリアシングし、0.5m/s押しを2.0m/sより危険と誤ランク付けする例を測定。

5. 議論はある？

- 4層すべてがプロキシであり、各層に固有の乖離メカニズムと再定式化が存在すると主張。 - 従来のreward hacking中心の見方を拡張。 - 具体的な失敗例を通じて、評価やカリキュラム設計の落とし穴を議論。 - 対策の有効性や限界については要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてPPO、reward hacking、カリキュラム学習、参照動作設計、関数保存的入力拡張が挙げられる。 - 同分野の定番として、脚式ロボットのRLにおけるreward shapingやdomain randomization、sim-to-real転移の研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Arunabh Bora

分類: cs.RO

原文アブストラクト

A reinforcement-learning (RL) pipeline for a legged robot is assembled from proxies. A reward stands in for intended behaviour, a curriculum gate stands in for competence, an evaluation statistic stands in for robustness, and a reference motion stands in for an achievable skill. The traditional view treats only the first of these as optimised against, and so locates specification failure (reward hacking) in the reward alone. I argue that all four are proxies in the same formal sense, that each has a characteristic divergence mechanism, and that each admits a reformulation that closes it. For every layer I state the traditional formulation, derive the condition under which it diverges from its target, and give the alternative: first-order (L1) costs where quadratic kernels are flat, peak and outcome statistics where curriculum gates average, gate reachability and information checks, deterministic and phase-desynchronised evaluation, curriculum state treated as part of the model, feasibility-first reference design with residual feed-forward, and function-preserving input widening that lets one policy grow instead of being retrained. The arguments are illustrated by measurements from one continuous lineage of a PPO policy for a simulated 1.91 m humanoid, grown over four stages and 13,500 iterations on a single laptop GPU. Among them, a curriculum gate built on averaged error advanced at its rate limit on every check while the skill it gated was absent, and a batched push test whose synchronised resets aliased the gait phase ranked a 0.5 m/s push as more dangerous than a 2.0 m/s one.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI