ウェイポイント誘導強化学習による実機サイズ双腕ロボットのロバストなブラキエーション

本論文は、実寸大の双腕ロボットによる腕渡り（brachiation）を実現するための強化学習ベースの手法を提案している。提案手法の中核はWaypoint-Guided Reinforcement Learning (WGRL)であり、模倣学習データが得られない高難度タスクにおいて、エンドエフェクタの軌道に対するウェイポイントを疎に指定することで行動獲得を誘導し、全身運動は強化学習によって生成する。さらに、ウェイポイント追従のガイダンスとタスク成功・機械的エネルギーに基づく報酬を統合し、Sim-to-Real転送を考慮した環境で訓練することで、前進と運動安定性の両立を図る。獲得した行動は、幾何学的変動を持つmonkey-bar環境でのSim-to-Sim実験とハードウェア実験により評価され、失敗回復行動を含むロバストな腕渡りを確認している。

従来の腕渡り研究では、モデルベースの制御や軌道最適化が用いられることが多く、実寸大ロボットでの実現は困難であった。また、強化学習を用いる場合でも、模倣学習データの入手が難しい高難度タスクでは学習が不安定になりがちである。本手法は、ウェイポイントによる疎なガイダンスを導入することで、模倣データなしに複雑な非線形運動を誘導できる点が新しい。さらに、Sim-to-Real転送を考慮した訓練環境と、タスク成功と機械的エネルギーを組み合わせた報酬設計により、実機でのロバスト性と安定性を両立している点が優れている。

手法の肝は、WGRLの枠組みである。具体的には、エンドエフェクタの軌道に対して、通過すべきウェイポイントを時間的に疎に指定し、その追従を報酬として与えることで、強化学習エージェントが全身運動を学習する。報酬は、ウェイポイント追従誤差、タスク成功（バーへの到達・把持・離脱）、機械的エネルギー消費の3つを統合して設計される。また、Sim-to-Real転送を考慮し、ドメインランダマイゼーションやロボットの物理パラメータの不確かさを模擬した環境で訓練する。これにより、実機でのロバストな行動獲得を可能にしている。

有効性の検証は、Sim-to-Sim実験とハードウェア実験の2段階で行われた。Sim-to-Sim実験では、バーの間隔や高さなどの幾何学的変動を持つmonkey-bar環境を複数用意し、提案手法で獲得したポリシーが様々な条件下で腕渡りを成功させ、さらに失敗からの回復行動（例えば、バーを掴み損ねた際に振り戻って再試行するなど）を示すことを確認した。ハードウェア実験では、実寸大の双腕ロボットを用いて、実際のmonkey-bar環境で腕渡りを実現し、ロバスト性を実証した。

要旨からは、議論の詳細は不明であるが、提案手法が実寸大ロボットでの腕渡りを実現した一方で、以下のような点が考えられる。まず、ウェイポイントの設計がタスクごとに手動で必要であり、その設計指針が一般化されているかは不明である。また、Sim-to-Real転送の成功は確認されたが、環境のさらなる変動（バーの太さや摩擦など）に対するロバスト性の限界は議論されていない。さらに、エネルギー報酬の重み設定が運動の安定性に与える影響や、学習の収束性についての詳細な分析は要旨からは不明である。

要旨で参照されている関連研究は明示されていないが、腕渡りや強化学習によるロコモーションの研究として、以下が関連する。まず、強化学習によるロボットのロコモーション全般に関する研究（例えば、DeepMimicやSim-to-Real転送の手法）、また、腕渡りに特化した研究（例えば、Brachiating Robotの制御に関する先行研究）が挙げられる。さらに、ウェイポイントや軌道ガイダンスを用いた強化学習の手法（例えば、Reward ShapingやCurriculum Learning）も関連する。具体的な論文名は要旨にないため、これらの一般名を挙げる。