日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
sim2realarXiv:2610.32855

正則化強化学習によるsim-to-real転送の改善

Regularised RL improves sim-to-real transfer

シェア:XThreadsFacebookLINEはてブBluesky

ソフトマックス価値関数に基づく新しい正則化RLアルゴリズムSMM-ACを提案し、実機ロボットでPPOやSACより高いリターンと外乱への頑健性を示した。

詳しい要約

1. どんなもの？

- 強化学習(RL)ポリシーの sim-to-real 転移における正則化(regularisation)の実用的効果を調べる研究 - 一般的な RL アルゴリズムの sim-to-real 性能を比較し、正則化がロボット性能に与える影響を特徴づけることを目的とする - そのために soft mellowmax 価値関数に基づく新しい正則化 RL アルゴリズム Soft MellowMax Actor-Critic (SMM-AC) を導出 - MuJoCo 連続制御ベンチマークと実機ロボットの両方で評価

2. 先行研究と比べてどこがすごい？

- 正則化 RL には sim-to-real を容易にするはずの証明可能なロバスト性保証があるが、実際の sim-to-real パイプラインでは Proximal Policy Optimisation (PPO) のような弱い正則化のアルゴリズムが事実上の標準であり続けている - 正則化が転移にもたらす実用的利点はこれまで十分に特徴づけられていなかった - 本研究はこのギャップを埋め、正則化の効果を実機性能の観点から特徴づける点が新しい

3. 技術・手法の肝は？

- soft mellowmax 価値関数に基づく正則化 RL アルゴリズム Soft MellowMax Actor-Critic (SMM-AC) を導出 - SMM-AC は強いロバスト性保証を備える - 正則化の有無・強さが sim-to-real 転移と実環境変動へのロバスト性に与える影響を、複数の一般的 RL アルゴリズムとの比較で分析

4. どうやって有効だと検証した？

- MuJoCo 連続制御ベンチマークで評価し、SMM-AC は Soft Actor-Critic (SAC) などのベースラインと競合する性能を示す - 実機ロボットで SMM-AC がベースラインより高いリターンを達成 - 観測、環境、ダイナミクスの摂動に対してベースラインより高いロバスト性を示す

5. 議論はある？

- 正則化 RL が sim-to-real ギャップおよび実世界の条件変化へのロバスト性を高め、実世界でのポリシー展開を改善することを結果が示す - 一方、具体的な限界や失敗事例、計算コストなどの詳細な議論は要旨からは不明

6. 次に読むべき論文は？

- Soft Actor-Critic (SAC) - Proximal Policy Optimisation (PPO) - soft mellowmax 価値関数に関する研究 - MuJoCo 連続制御ベンチマークを用いた sim-to-real 研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Danilo Vucetic, Mohamad H. Danesh, Florence Clerc, Hsiu-Chin Lin, Jonathan Tremblay

分類: cs.LG, cs.RO

原文アブストラクト

Regularised reinforcement learning (RL) has provable robustness guarantees that should ease the transfer of policies from simulation to robots, known as sim-to-real. Yet, weakly regularised algorithms like Proximal Policy Optimisation (PPO) remain the de facto choice in sim-to-real pipelines, while the practical benefits of regularisation for transfer remain poorly characterised. In this work, we study the sim-to-real performance of commonly used RL algorithms, with the aim of characterising the effects of regularisation on robotic performance. To that end, we derive Soft MellowMax Actor-Critic (SMM-AC), a novel regularised RL algorithm based on the soft mellowmax value function, which carries strong robustness guarantees. On MuJoCo continuous control benchmarks, SMM-AC is competitive with baselines like Soft Actor-Critic (SAC). On real robots, SMM-AC achieves higher return, while exhibiting greater robustness to perturbations in observations, the environment, and dynamics than baselines. Together, these results demonstrate that regularised RL improves real-world policy deployment through better robustness to the sim-to-real gap, and changing real-world conditions.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI