何が起きたか
arXivに2023年2月26日付で公開された論文「Puppeteer and Marionette: Learning Anticipatory Quadrupedal Locomotion Based on Interactions of a Central Pattern Generator and Supraspinal Drive」において、研究チームは深層強化学習(DRL)を用いて、脊髄のCentral Pattern Generator(CPG)と脳からの上位駆動(supraspinal drive)の相互作用をモデル化した。このモデルにより、四足ロボットがギャップを横断する際の予期的行動を学習できることを示した。論文では、上位駆動がCPGを調節する経路と、CPGを迂回して直接アクチュエーション信号を変更する経路の2つを比較し、直接的な上位駆動がギャップ横断成功率の向上に重要であると報告している。また、CPGは歩行の滑らかさとエネルギー効率に寄与するとしている。さらに、前脚のギャップまでの距離を感知することが学習に最も重要かつ十分な感覚情報であると結論づけた。この結果は、猫や馬が主に前脚で障害物回避を行い、後脚は前脚の情報に基づく内部記憶に従うという生物学的仮説を支持する。提案手法により、明示的なダイナミクスモデリングやModel Predictive Control(MPC)を用いずに、体長の50%に相当する最大20cmのギャップを横断できることを実証した。
詳細
四足動物の歩行は、脊髄のCPG、感覚フィードバック、脳からの上位駆動信号の相互作用から生じる。CPGの計算モデルは、計算神経科学や生体模倣ロボティクスにおいて脊髄の歩行制御への寄与を調べるために広く用いられてきた。しかし、予期的行動(足場の配置などを事前に計画する運動行動)に対する上位駆動の寄与は十分に理解されていない。特に、脳が正確な足配置のためにCPG活動を調節するのか、それともCPGを迂回して直接筋活動を調節するのかは不明であった。 本研究では、ギャップをまたぐ予期的歩行シナリオにおける上位駆動とCPGの相互作用を調査した。深層強化学習を用いて上位駆動行動を再現するニューラルネットワークポリシーを訓練し、このポリシーがCPGダイナミクスを調節するか、またはCPGを迂回して直接アクチュエーション信号を変更するかを検証した。結果、アクチュエーション信号への直接的な上位駆動の寄与が高いギャップ横断成功率の鍵であることが示された。一方、脊髄のCPGダイナミクスは歩行の滑らかさとエネルギー効率に有益であることが分かった。また、前脚のギャップまでの距離の感知が学習に最も重要かつ十分な感覚情報であると判明した。
Key Facts
| 論文はarXivで2023年2月26日に公開された。 | [1] |
| 研究チームは深層強化学習(DRL)を用いて上位駆動行動を再現するニューラルネットワークポリシーを訓練した。 | [1] |
| 上位駆動はCPGダイナミクスを調節するか、CPGを迂回して直接アクチュエーション信号を変更するかの2経路が比較された。 | [1] |
| 直接的な上位駆動のアクチュエーション信号への寄与が高いギャップ横断成功率の鍵であると報告された。 | [1] |
| CPGダイナミクスは歩行の滑らかさとエネルギー効率に有益であるとされた。 | [1] |
| 前脚のギャップまでの距離の感知が学習に最も重要かつ十分な感覚情報であると結論づけられた。 | [1] |
| 結果は猫や馬が主に前脚で障害物回避を行い、後脚は前脚の情報に基づく内部記憶に従うという生物学的仮説を支持する。 | [1] |
| 提案手法により四足ロボットは最大20cm(体長の50%)のギャップを横断可能である。 | [1] |
| 明示的なダイナミクスモデリングやModel Predictive Control(MPC)は用いられていない。 | [1] |
なぜ重要か
本研究は、脊髄CPGと脳からの上位駆動の相互作用を深層強化学習でモデル化し、予期的歩行制御の理解を深めるものである。生物学的仮説を支持する結果は、神経科学とロボティクスの橋渡しとなる。また、MPCなどの複雑な制御を必要とせずに高い成功率を達成したことは、簡素で効率的な四足ロボットの制御手法の可能性を示す。