モデルベース強化学習2026/9/8arXiv:2609.08853

CAST: 交互状態価値目標と拡張方策勾配によるモデルベース強化学習

CAST: Alternating State-Value Targets and Expanded Policy Gradients for Model-Based Reinforcement Learning

モデルベース強化学習において、プランナー誘導行動と現在の方策を交互に用いた状態価値目標を導入し、価値学習を改善する手法CASTを提案。シミュレーションと実機の四足ロボットで有効性を実証。

詳しい要約

1. どんなもの？

CAST (Critic with Alternating State-value Target) は、model-based reinforcement learning (MBRL) のための新しい価値学習手法を提案する。学習された環境モデルとオンライン計画を組み合わせるMBRLにおいて、プランナー誘導の行動から価値学習を改善する。具体的には、action-value critic の代わりに state-value critic を用い、プランナー誘導の遷移と現在のポリシーによる想像上の遷移を組み合わせたターゲットで訓練する。これにより、価値関数はプランナー誘導行動と現在のポリシーの交互プロセスに対応し、より強いプランナー行動の恩恵を受けつつ、学習中のポリシーによって正則化される。

2. 先行研究と比べてどこがすごい？

従来のMBRL手法では、学習されたポリシーとオンライン計画を組み合わせる際、ポリシーの価値（プランナー誘導のより強い行動ではなく）を学習することが一般的であった。CASTは、プランナー誘導の行動を価値学習に直接活用し、現在のポリシーで正則化することで、より強い行動から価値関数が学習できる点が新しい。

3. 技術・手法の肝は？

手法の核は、state-value critic を導入し、そのターゲットを「実際のプランナー誘導遷移」と「現在のポリシーによる想像上の遷移」の組み合わせで構成すること。これにより、価値関数はプランナー誘導行動と現在のポリシーの交互プロセスを表現し、プランナーの強みを活用しつつポリシー学習の安定性を保つ。

4. どうやって有効だと検証した？

DeepMind Control Suite と HumanoidBench Suite で、複数のstate-of-the-art手法と比較して評価。さらに、物理的なUnitree Go2四足ロボットでの動的handstandタスクへの転移も実証した。

5. 議論はある？

要旨からは、プランナーとポリシーの交互プロセスが理論的にどのような性質を持つか、また実世界でのロバスト性や限界についての詳細な議論は不明。

6. 次に読むべき論文は？

要旨で参照されているstate-of-the-art手法（具体的な名称は不明）や、MBRLの基礎となるModel-Based Reinforcement Learning、online planning、value learningに関する論文が関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pietro Noah Crestaz, Mohamed Yassine Kabouri, Nicolas Mansard, Andrea Del Prete

分類: cs.RO

原文アブストラクト

Model-based reinforcement learning (MBRL) is a family of RL methods that learn a model of the environment and use it for action selection, making it well suited to robotics due to its sample efficiency. Combining learned models with online planning can further improve action selection, as the planner can exploit the model to find better actions than the learned policy alone. Recent methods combining learned policies with online planning typically learn the value of the policy rather than the stronger planner-guided behavior. We present CAST (Critic with Alternating State-value Target), which uses planner-guided behavior to improve value learning while regularizing the value estimate with the current policy. CAST replaces the action-value critic with a state-value critic, trained using a target that combines a real planner-guided transition and an imagined transition under the current policy. The resulting value function corresponds to an alternating process between planner-guided behavior and the current policy, allowing it to benefit from the stronger planner behavior while being regularised by the policy being learned. We evaluate CAST on the DeepMind Control and HumanoidBench Suites against several state-of-the-art methods, and demonstrate successful transfer to a physical Unitree Go2 quadruped performing a dynamic handstand.

arXivで原文を読む →arXiv概要ページ