軟体ロボットの強化学習、6次元モデルで3時間の訓練を実証

何が起きたか

2026年11月9日にarXiv掲載された研究で、空気圧駆動の軟体アームの軌道追従方策を、6次元のaSSM縮約モデル上で3時間訓練した。研究チームは方策を追加調整なしで実機に展開し、同じ訓練を実機との相互作用で行う場合は3年に相当すると推定した。縮約モデルで訓練した方策は、RNNまたはTransformerで訓練した比較対象より追従誤差が40%低かった。

詳細

研究では、軟体ロボットの力学にある時間スケールの分離を根拠に、動力学を低次元の不変多様体であるaSSMに縮約した。事前収集データのみから学習した単純な多項式常微分方程式を、強化学習の訓練環境として用いた。モデルの同定に要した時間は5分で、比較対象の4.8百万パラメーターのRNNは13時間、1.7百万パラメーターのTransformerは100時間だった。これらの比較対象は、縮約モデルと同一条件の方策を訓練するために使われた。

Key Facts

本紙の見方

この研究の焦点は、強化学習の計算量そのものより、軟体ロボットで訓練環境をどう用意するかにある。研究概要によれば、事前収集データから同定した6次元のaSSMモデルでは方策訓練に3時間を要し、実機相互作用で同じ訓練を再現する場合の推定3年と大きな差がある。これは、シミュレーターを高精度化する代わりに、ロボットの力学を低次元モデルで表現し、学習環境に使う設計を示すものだ。 比較対象との違いは、モデルの規模と準備時間にも表れている。研究の多項式モデルは6,924パラメーターで、同定は5分だった。一方、RNNは4.8百万パラメーターで13時間、Transformerは1.7百万パラメーターで100時間を要したとされる。さらに、縮約モデルで訓練した方策は比較対象より追従誤差が40%低かった。ただし、この結果は空気圧駆動アームの軌道追従という設定における比較であり、モデルの小ささだけが性能差を生んだとまでは概要から判断できない。 工程としては、実機から事前データを集め、低次元の力学モデルを同定し、そのモデル上で方策を訓練した後、追加調整なしで実機に移す流れになる。実機での相互作用を訓練中に大量に必要とする方式に比べ、方策探索をモデル側へ寄せられる可能性を示す一方、実機展開後に追加調整を要しなかったという結果が、別のロボットや別の制御課題にも当てはまるかは示されていない。 次に確認すべきなのは、事前収集データの量と取得条件、40%という誤差差の評価指標、試行数や再現性である。概要にはこれらの詳細が記されていない。また、モデル化の誤差が大きい動作や、異なる機体への適用で性能がどう変わるかも、この実験結果だけでは分からない。したがって、今回の結果は特定の軟体アームに対する訓練時間と追従性能の実証として捉え、一般的な軟体ロボットの訓練時間を同じ割合で短縮できるとの結論には広げないのが妥当だ。

なぜ重要か

軟体ロボットの強化学習では、相互作用データの大量取得か信頼できるシミュレーターが課題だと研究は説明する。今回の空気圧駆動アームの実験は、事前データから作った6次元モデル上で方策を訓練し、追加調整なしで実機に移せる例を示しており、実機での訓練時間を抑えたい開発に関係する。