Koopman構造はヒューマノイド全身追従の微分可能ワールドモデルに有効か

本論文は、ヒューマノイドのwhole-body tracking方策をdifferentiable world model経由のbackpropagationで訓練する際、Koopman構造(lifted state spaceでの線形dynamics)が有効かを検証した研究。simulated Unitree G1でのtrackingを対象に、既存pipelineのMLP world modelをKoopman構造モデルへ置換して比較している。結論としてKoopman構造は助けにならず、MLP world modelが優位と報告している。

- 先行研究との具体的比較は要旨からは不明。 - 同一pipelineでMLP world modelのみをKoopman構造に置換する統制比較を行った点が特徴。 - 結果はreturnが最大でも同等(0.823 vs 0.830)、同一データでのone-step errorはMLPの1.3〜1.6倍、訓練は約15%遅い。 - lifted rolloutsは発散するか方策訓練に失敗し、Koopman構造の利点は確認されなかった。

- lifted state spaceでの線形dynamics(Koopman構造)をworld modelに組み込む。 - 比較対象は同一pipelineのMLP world model。 - 検討したschemeのうち、imagined stepごとにre-liftingする方式が最も良く訓練できた。 - しかしre-liftingはlifted linear dynamicsを使わず、actionに対してaffine(state依存のoffsetとslope)なモデルになる。 - action-affine MLPも予測が悪く、コストはこのモデルクラスに帰属すると分析。 - 固定stateではaction方向の真のdynamicsの曲率がコストの一部を説明する。 - 状態間ではpolicyのactionが曲面上に広がるため、affineモデルはoperating pointでの接平面としてのみpolicyデータに適合する。 - G1ではMLPのその接平面はMLPと同等精度、mean actionでは31倍悪い。 - offsetはstateのみからpolicyがどこで作用するか…

- simulated Unitree G1のwhole-body trackingで、MLP world modelとKoopman構造モデルを同一pipelineで比較。 - return(0.823 vs 0.830)、同一データでのone-step error(1.3〜1.6倍)、訓練時間(約15%遅い)を指標に評価。 - lifted rolloutsの発散・方策訓練失敗を確認。 - 複数のschemeを比較し、re-lifting方式が最良であることを確認。 - action-affine MLPとの比較、固定stateでの曲率分析、mean actionでの誤差比較(31倍)を実施。 - policyのactionを供給する実験をG1, Ant, Humanoidで実施。

- Koopman構造のコストはaction-affineモデルクラスに帰属すると議論。 - 固定stateでのaction方向の曲率だけではコストを完全には説明できない。 - 状態間でpolicyのactionが曲面上に広がるため、affineモデルはoperating pointの接平面としてのみ適合する点を指摘。 - offsetがstateのみからpolicyの作用位置を符号化する必要がある一方、MLPはactionを読める点を議論。 - 唯一MLPに近いonline repairは構造を放棄するため、MLP world modelがここではより良い選択と結論。 - 他のタスクやロボットへの一般性は要旨からは不明。

- 要旨で参照/比較されているMLP world model(ベースライン)。 - action-affine MLP(比較対象として言及)。 - Koopman構造を用いたworld model(比較対象)。 - differentiable world model経由のbackpropagationによるpolicy訓練(関連手法)。 - 同分野の定番としてmodel-based RL、world model、whole-body tracking方策学習の関連研究。