MAPO: 交互方策最適化を用いた汎用人間型動作追従のためのエキスパート混合モデル

- ヒューマノイドロボットの**universal humanoid motion tracking**（多様な人間動作の追従）を目的とした研究。 - **mixture-of-experts (MoE)** 方針を採用しつつ、新たに **Mixture of Experts with Alternating Policy Optimization (MAPO)** を提案。 - MoE の dynamic routing に起因する **divergence の誤推定** を回避するため、router と experts を交互に最適化する枠組み。

- 従来は MoE 方針に **dynamic routing** を組み合わせ、**policy-gradient** 更新で表現力を高める手法が広く採用されてきた。 - 本研究は、MoE では **old policy と updated policy の divergence** が誤推定され、**PPO** 等の更新制御が過度に保守的/過大になり得る点を指摘。 - その誤推定を避ける交互最適化により、従来の **PPO with MoE** より広範な動作追従を実現。

- **MAPO** は **router** と **experts** を交互に最適化することで、MoE 特有の divergence 誤推定を回避。 - これにより **policy-gradient** 更新時の divergence に基づく更新制御が正しく機能し、方針の劣化を防ぐ。 - 具体的なネットワーク構成・損失関数・交互更新の周期などは要旨からは不明。

- **MAPO** は **PPO with MoE** が追従できない **182 motions** を一貫して追従。 - 逆に **PPO with MoE** が追従できる動作のうち **MAPO** が失敗するのは **1 motion** のみ。 - 比較手法中で最高の **tracking success rate** と、ほとんどの **error metrics** で最低の **tracking error** を達成。 - 詳細な実験設定・データセット・評価プロトコルは要旨からは不明。

- MoE の **dynamic routing** 下での **divergence misestimation** が方針更新に与える悪影響を明確化。 - 交互最適化がその問題を緩和する有効な設計であることを示唆。 - 計算コスト、スケーラビリティ、他アルゴリズムへの一般化、失敗した 1 motion の要因などは要旨からは不明。

- 要旨で直接比較されている **PPO with MoE**。 - 関連する基盤手法として **PPO**、**mixture-of-experts (MoE)**、**dynamic routing**、**policy-gradient** 更新における **divergence** 制御（例: **trust region** 系手法）。 - 具体的な参照論文名は要旨からは不明。