ラムダ保持制御：予測的筋骨格シミュレーションにおける最小タスク報酬から創発する人間らしい運動

本論文は、人間の筋骨格系の過剰冗長性により強化学習での探索が非効率になる問題に対し、equilibrium-point (EP) hypothesisに着想を得た$\lambda$-hold controllerを提案する。制御変数は筋ごとのEP閾値長$\lambda$であり、stretch-reflex recruitment則が筋興奮を自動計算する。各$\lambda$を歩行位相の区間保持することでポリシーのクエリ頻度を削減し、最小限の報酬で筋駆動骨格モデルに人間らしいスプリントを1時間以内で学習させることを可能にした。

従来の強化学習による筋骨格モデルの運動生成は、高次元で冗長な行動空間の探索が非効率で、人間らしい運動の学習に時間がかかるか不可能だった。本手法は、EP仮説に基づき制御変数を$\lambda$に変換し、stretch-reflex則で筋興奮を決定することで探索空間を削減し、さらに$\lambda$の区間保持によりポリシーのクエリ頻度を下げる。これにより、最小限の報酬で人間らしいスプリントを1時間以内に学習できることを初めて示した点が優れている。

手法の核は、EP仮説に基づく$\lambda$-hold controllerである。ポリシーは各筋のEP閾値長$\lambda$を出力し、stretch-reflex recruitment lawが筋長と$\lambda$の差から筋興奮を計算する。さらに、$\lambda$を歩行位相の区間中保持することで、ポリシーのクエリ頻度を大幅に削減する。これにより、強化学習の探索効率が向上し、最小限の報酬で学習が可能になる。

要旨からは、筋駆動骨格モデルを用いて人間らしいスプリントを学習できたこと、学習時間が1時間以内であることが検証結果として示されている。具体的な報酬設計や比較実験の詳細は要旨からは不明。

要旨では、提案手法が単なる工学的工夫ではなく、EP仮説、間欠制御、最適フィードバック制御を統合した生理学的に基づくアプローチであると議論している。また、人間らしい行動を予測的シミュレーションで再現するだけでなく、人間の運動制御の学習可能なモデル構築に貢献すると述べている。

要旨で参照されている関連研究として、EP hypothesis、intermittent control、optimal feedback controlに関する論文が挙げられる。具体的には、FeldmanのEP仮説に関する研究や、Todorovらの最適フィードバック制御の研究が関連する。