PROMO: 四足歩行ロボットのための選好条件付き多目的強化学習

- 四足歩行ロボットのための強化学習手法「PROMO」を提案。 - 歩行にはcommand tracking、stability、energy efficiencyなど相反する目的が存在。 - 従来のRLは訓練時に固定のスカラー報酬へ優先度を埋め込む。 - PROMOは選好(preference)を実行時の明示的入力とし、単一のlocomotion policyを条件付ける。 - 意味論的multi-objective approachで、operator intentと報酬整形項を分離。

- 固定目的のcontroller、multi-objective baseline、個別訓練のspecialistと比較。 - 単一のdeployable policyでobjective specializationとrobustnessを達成。 - 従来のmulti-objective RLはofflineでのPareto-set構築が主だが、実行時interfaceへ拡張。 - 選好変更のみでenergy、position error、attitude deviationを改善可能。

- preference-conditioned multi-objective RL。 - policyをdeployment facing preferencesで条件付け。 - embodiment-specific locomotion priorsは固定し、operator intentと報酬整形項を分離。 - 単一policyで多様な選好に対応。 - 詳細なアルゴリズムは要旨からは不明。

- シミュレーションで100個の選好をサンプリング。 - 67 behaviorsがexact Pareto dominanceでnon-dominated。 - 平均preference-objective correlationは0.843。 - 広いPareto coverageと予測可能な選好応答を示す。 - 同一policyをUnitree Go2へzero-shot転移。 - 選好変更のみでspecific energy最大30.4%減、position error 38.7%減、peak body-attitude deviation 59.0%減(balanced preference比)。

- preference-conditioned multi-objective RLが適応的legged locomotionの実用的runtime interfaceとなることを示す。 - offline Pareto-set構築を超える役割を拡張。 - 限界や課題は要旨からは不明。

- 要旨で参照/比較されている研究: fixed-objective controllers、multi-objective baselines、independently trained specialists。 - 関連手法: multi-objective reinforcement learning、Pareto dominance、preference-conditioned RL。 - 具体的な論文名は要旨からは不明。