座ったままで：キャスター付きパッシブ移動椅子を用いた全方向人型ロコモーションの学習

本研究は、受動的な移動椅子（キャスター付き）に着座したヒューマノイドロボットの全方向移動を実現する強化学習ベースの手法を提案する。着座状態での移動は、骨盤と椅子の接触が固定されず、足と床の間欠的な推進力でロボット椅子系を動かす必要がある。提案手法は、標準的な立位速度追従環境を拡張し、受動椅子モデル、着座状態報酬、批評家のみが観測する椅子状態、タスクに合わせた接触設定を導入する。方策は動作模倣報酬なしで学習され、アクターは固有受容感覚と速度指令のみを使用し、接触センサーや椅子状態を必要としない。

先行研究では、立位での移動や模倣学習に基づく移動が主流であり、着座状態での移動はほとんど扱われていない。本研究は、受動的な椅子を用いた着座移動を初めて扱い、模倣報酬なしで学習可能な点が新しい。また、アクターが椅子状態や接触センサーを必要としないため、実機への転移が容易である。さらに、対称性正則化や足滑り正則化、指令カリキュラムなどの工夫により、学習の安定性と性能を向上させている。

手法の核は、標準的な立位速度追従環境に受動椅子モデルを追加し、着座状態に適した報酬設計と観測設計を行う点にある。具体的には、着座状態報酬（例：椅子に座り続けること）と、批評家のみが椅子状態を観測する非対称アクター批評家アーキテクチャを採用する。また、接触設定をタスクに合わせて調整し、対称性正則化（SY）、足滑り正則化（FS）、指令カリキュラム（CC）を導入する。方策はPPOなどの強化学習で学習され、アクターは固有受容感覚と速度指令のみを入力とする。

シミュレーションでのランダム指令評価では、20秒間のロールアウトのほぼ全てで全方向指令を追従でき、最良の着座方策は立位方策を速度追従で上回った。4つの学習シードを用いた2^3要因計画（SY、FS、CCの有無）で比較し、FSはCoT（Cost of Transport）を減らすが追従誤差を増加させ、FSのみの方策は静止局所最適に収束することがあると示した。FSとSYまたはCCの組み合わせは失敗を回避し、SYは縦方向移動中の両脚対称性を改善した。方向別解析では、CoTが後進＜横進≪前進の順であり、後進と横進では脚伸展、前進では膝屈曲が見られた。学習方策はUnitree G1にゼロショットで実機転移し、全方向着座移動を実現した。

議論として、FSのみの方策が静止局所最適に陥る問題が挙げられ、SYやCCとの組み合わせで回避できることが示されたが、そのメカニズムの詳細は要旨からは不明。また、着座移動のCoTが方向によって大きく異なることや、実機転移がゼロショットで成功した点は有望だが、より複雑な環境や外乱に対する頑健性は未検証である。さらに、着座移動のエネルギー効率や人間との協調作業への拡張については今後の課題である。

要旨で参照されている関連研究として、立位の速度追従環境（standing velocity-tracking environment）や、強化学習による移動制御、模倣学習を用いない方策学習、sim-to-real転移に関する研究が挙げられる。具体的には、Unitree G1を用いた実験や、受動椅子モデルの関連研究、対称性正則化や足滑り正則化の手法を提案した論文が次に読むべきである。