ソフトロボティクスのための高速化強化学習：数年が数時間に
Accelerated Reinforcement Learning for Soft Robotics: Hours Instead of Years
ソフトロボットの低次元不変多様体（aSSM）に基づく小型多項式モデルを強化学習の環境として用い、実機では3年相当のポリシー学習を3時間で実現し、RNNやTransformerより高精度な軌道追従を達成した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Roshan S. Kaundinya, Hehui Zheng, Robert K. Katzschmann, George Haller
分類: cs.RO, cs.AI, cs.LG, math.DS
原文アブストラクト
Reinforcement learning (RL) requires large amounts of interaction data or a reliable simulator, both hard to obtain for nonlinear soft robotic hardware. Recent work shows that a time-scale separation inherent to soft robot dynamics justifies their reduction to low-dimensional invariant manifolds, known as adiabatic spectral submanifolds (aSSMs). We demonstrate that an aSSM-reduced model, a simple polynomial ordinary differential equation learned purely from pre-collected data, can serve as an RL training environment. On a pneumatically actuated soft arm, we train a trajectory-tracking policy in 3 hours on a six-dimensional aSSM-reduced model and deploy it without fine-tuning, whereas reproducing this policy training extrapolates to 3 years of hardware interaction. Our policy tracks dynamic targets with 40% lower error than otherwise identical policies trained on a 4.8-million-parameter recurrent neural network (RNN) or a 1.7-million-parameter transformer, which take 13 and 100 hours to identify, against 5 minutes for our mathematically justified 6,924-parameter model.
関連論文
- 腱駆動型ロボットクラゲ：拘束型ソフトアクチュエーションと強化学習による深度制御ソフトロボティクス/強化学習
- ソフトロボットにおける全身インタラクションによる推論と操作の学習ソフトロボティクス/強化学習
- 線形埋め込み空間での強化学習によるソフトロボット構成横断的な汎用制御ソフトロボティクス/強化学習
- ソフトロボットアームの集中型・分散型強化学習制御の定量的比較ソフトロボティクス/強化学習
- 這い方を学ぶ：ソフトロボットの適応移動のための潜在モデルベース強化学習ソフトロボティクス/強化学習
- 並列ソフトロボットによる動的タスクのためのリアルタイム強化学習ソフトロボティクス/強化学習