アンダーアクチュエート二足歩行ロボット向けの衝突回避走行をHRLで実現した論文を公表

何が起きたか

アンダーアクチュエート二足歩行ロボットの衝突回避走行を扱う論文「Hierarchical Reinforcement Learning for Collision-Free Locomotion of an Underactuated Biped」が、arXivで2026-10-05に公開された。論文は、各脚に4自由度の関節を持ち、股関節ロールと足首ロールを備えない二足歩行機を対象に、階層型強化学習(HRL)で移動制御を行う枠組みを示している。評価では、ランダム化したPyBullet環境で方法ごとに100試行を行い、静的条件で98.0%、動的条件で88.0%の到達率を得たとしている。

詳細

提案手法では、高位方策(High-Level policy)がロボット姿勢、36本のraycast近接計測、移動障害物の状態、receding-horizonの局所目標を観測し、ボディ速度コマンド$(v_x, v_y, ω_{yaw})$を10制御ステップごとに出力する。低位方策(Low-Level policy)は速度条件付きで、PD制御された関節目標を追従する。両方策はSoft Actor-Critic(SAC)で共同学習される。 論文では、収束した歩容がtask-agnosticであるためこれを固定し、同じコマンド接口の上で古典的計画器を駆動する比較系としてSAC+A*、SAC+RRT*、SAC+APFを置いた。結果として、提案法は静的試行で98.0%、動的試行で88.0%の到達率を示し、計画器併用の比較法ではそれぞれ最大78.0%、68.0%だったとしている。経路長はA*基準から4%以内に収まり、アブレーションでは各観測チャネルと報酬項が性能に寄与したと報告している。

Key Facts

本紙の見方

この論文の新規性は、二足歩行の移動そのものを「姿勢維持」と「障害物回避」に分けず、同じ速度指令インターフェースで階層化した点にある。特に、上位が姿勢・36本のレイキャスト・移動障害物・局所目標を見て速度を決め、下位がPD制御の関節目標に落とす構造は、アンダーアクチュエート機体で起きやすいバランス崩れを前提に設計されている。ここは既存の経路計画を後段に足しただけの構成ではなく、学習した歩容を固定して古典計画器を差し替え可能にした点が、実装上の特徴である。 一方で、評価結果の読み方には注意が要る。比較対象はSAC+A*、SAC+RRT*、SAC+APFであり、いずれも同じコマンド接口を使う「ハイブリッド」である。提案法は静的・動的の両条件で到達率を上げ、A*基準の経路長から4%以内に収めたが、これはシミュレーション内の100試行評価での結果である。したがって、実機での転移性能や、学習済み歩容を凍結したときのロバスト性がそのまま保証されるわけではない。 本紙の見方としては、この研究は二足歩行の制御を「足を出す」問題から「速度指令を保ちつつ障害物を避ける」問題へと再定義している点が重要である。入力側では36本のレイキャストと移動障害物状態を取り込み、出力側では3自由度の速度指令に集約しているため、環境認識と運動制御の境界が明確だ。今後確認すべき論点は、実機での成功率、学習に要した計算資源、報酬設計の具体、そしてこの枠組みが別の脚型ロボットや別地形にもそのまま移るかどうかである。

なぜ重要か

論文が示したのは、障害物回避を含む二足歩行制御を、関節直接制御ではなく速度指令の階層構造で扱える可能性である。著者らは、静的・動的試行の100回評価と4%以内の経路長という指標を示しており、少なくともシミュレーション上では経路計画と学習制御の接続方法に一定の有効性があると説明している。

日本への影響

日本の二足歩行ロボット研究にとっては、関節数が少ないアンダーアクチュエート機体で、レイキャスト距離情報と局所目標を組み合わせる設計が参考になる可能性がある。実機移行の可否は別問題だが、歩容学習と古典計画器を同じ速度インターフェースで接続する構成は、歩行ロボットの制御系設計を考える上で示唆がある。