日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
目標条件付き強化学習arXiv:2610.10932

目標条件付き強化学習のための世界モデル政策アービター

World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

複数の凍結済み目標条件付き政策をポートフォリオとして活用し、学習した世界モデルで各政策の将来を想像評価して最適な政策を選択するテスト時フレームワークを提案。

詳しい要約

1. どんなもの？

オフライン goal-conditioned reinforcement learning (GCRL) において、複数の凍結済み goal-conditioned policy を portfolio として集約する test-time framework「World-Model Policy Arbiter (WMPA)」を提案する研究。 - 単一の最良 policy を選ぶのではなく、各状態でどの policy に行動させるかを arbitration する。 - 学習済み state-space world model 上で各 policy を rollout し、共有の goal-conditioned value function で想像上の未来を評価する。 - 最高スコアの policy を短い commitment interval だけ実行し、次の arbitration を行う。 - policy の再学習や task-specific な privileged knowledge を必要としない。

2. 先行研究と比べてどこがすごい？

従来の offline GCRL は多様な goal-reaching algorithm を生み出したが、環境・goal・同一タスクの位相によって最良 algorithm が異なる。 - 既存手法は単一の最良 policy を配備する発想が主流。 - WMPA は凍結済み policy 群を集合的に portfolio として使う点が新しい。 - policy 自身の value function は scale が異なったり存在しなかったりするため直接比較できないが、WMPA は world model 上の imagined future を共有 value function で評価することでこの問題を回避する。 - 再学習不要で task-specific knowledge も不要。

3. 技術・手法の肝は？

WMPA の肝は test-time での policy arbitration。 - 入力として凍結済み goal-conditioned policy の bank を受け取る。 - 学習済み state-space world model 内で各 frozen policy を rollout し、想像上の未来を生成する。 - それらを共有の goal-conditioned value function でスコアリングする。 - 最高スコアの policy を短い commitment interval だけ実行し、その後再び arbitration する。 - 頻繁な switching による制御不安定化を commitment interval で抑制する。 - policy の value function の scale 不一致や不在に対処するため、policy 自身の value ではなく到達しそうな状態で判断する。

4. どうやって有効だと検証した？

OGBench の公式評価プロトコルを使用。 - 18 の state-based dataset で検証。 - 対象は maze navigation および cube, scene, puzzle manipulation。 - データセットごとに最良 policy を選んだ場合の macro-average success rate 44% に対し、WMPA は 58% に改善。 - 12 データセットで統計的に有意な改善。 - 特に cube-double-play で +33 percentage points、scene-play で +36 percentage points の向上。

5. 議論はある？

要旨からは不明。 - ただし、policy の value function が直接比較できない問題、policy が value function を持たない場合、switching 頻度と制御安定性のトレードオフが課題として明示されている。 - WMPA はこれらに対し world model 上の rollout と共有 value function、commitment interval で対処する。 - 限界や失敗ケース、計算コスト、world model の精度依存性などについての議論は要旨からは不明。

6. 次に読むべき論文は？

要旨で参照・比較されている研究や関連手法は明示されていない。 - 同分野の定番として、offline goal-conditioned reinforcement learning (GCRL) の代表的アルゴリズム、OGBench のベンチマーク、goal-conditioned value function、state-space world model を用いた model-based RL の関連研究を次に読むべき。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junwei Quan, Evgenii Opryshko, Nicholas Rhinehart, Igor Gilitschenski

分類: cs.LG

原文アブストラクト

Offline goal-conditioned reinforcement learning (GCRL) has produced a diverse set of goal-reaching algorithms, yet no single algorithm performs best across environments, goals, and even different phases of the same task. Rather than deploying only the best-performing policy, we ask whether a set of frozen goal-conditioned policies can be used collectively as a portfolio, deciding at every state which policy should act. Choosing a policy at each state is not straightforward. The policies' own value functions cannot be compared directly: they may use different scales, and some policies have no value function. We need to judge each policy by the states it is likely to reach, even though we can execute only one policy at a time. We also need to avoid switching so often that control becomes unstable. To address these challenges, we introduce World-Model Policy Arbiter (WMPA), a test-time framework that, given a set of frozen policies as input, rolls out each frozen policy in a learned state-space world model, evaluates the imagined futures with a shared goal-conditioned value function, and executes the highest-scoring policy for a short commitment interval before the next round of arbitration (policy selection). WMPA assumes access to a bank of frozen goal-conditioned policies and requires neither policy retraining nor privileged task-specific knowledge. Under the official OGBench evaluation protocol on 18 state-based datasets spanning maze navigation as well as cube, scene, and puzzle manipulation, WMPA improves the macro-average success rate from the 44% achieved by the best policy selected per dataset to 58%, with statistically significant gains on 12 datasets. These gains include +33 percentage points on cube-double-play and +36 percentage points on scene-play.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI