閉ループシステムモデリングによるオンラインSim-to-Real適応

- 本論文は、sim-to-real転送における残差動力学ミスマッチによる追従精度低下を解決するOSRAMを提案する。 - OSRAMは、既存のコントローラへの参照コマンドを適応させるフレームワークである。 - 展開されたロボットとそのポリシーを統合された閉ループ動力学システムとして扱い、追従観測からタスクレベルのコマンド応答挙動を直接学習する。 - 閉ループ動力学モデルは、シミュレーションでランダム化された動力学にわたってメタ学習され、展開後に限られた実世界インタラクションで迅速にファインチューニングされる。 - 適応されたモデルは、基礎となる制御ポリシーを変更せずに、将来の参照コマンドを最適化するために使用される。

- 従来のsim-to-real転送では、残差動力学ミスマッチを修正するために、システム動力学の同定、制御ポリシーの適応、またはシミュレーションへの追加訓練とファインチューニングが必要であり、これらは大量のデータと計算を要する。 - OSRAMは、代わりに既存のコントローラへの参照コマンドを適応させることで、ポリシーのファインチューニングや完全な物理動力学の同定を回避する。 - これにより、データと計算の負担を軽減しつつ、残差sim-to-real追従誤差を低減する実用的な代替手段を提供する。

- OSRAMは、展開されたロボットとそのポリシーを統合された閉ループ動力学システムとして扱う。 - 追従観測からタスクレベルのコマンド応答挙動を直接学習する。 - 閉ループ動力学モデルは、シミュレーションでランダム化された動力学にわたってメタ学習される。 - 展開後、限られた実世界インタラクションを用いてモデルを迅速にファインチューニングする。 - 適応されたモデルを用いて将来の参照コマンドを最適化するが、基礎となる制御ポリシーは変更しない。

- シミュレーションとハードウェア上で、bipedal velocity trackingとloco-manipulationを対象にOSRAMを評価した。 - 結果は、閉ループモデリングが未知の動力学下で予測と追従精度を改善することを示した。 - オンライン参照適応が、異なる制御目的とハードウェア構成にわたって残差sim-to-real追従誤差を低減することを示した。 - これらの結果は、ロボット-ポリシー閉ループの挙動を適応させることが、sim-to-real転送のためのポリシーのファインチューニングや完全な物理動力学の同定に対する実用的な代替手段を提供することを実証している。

- 要旨からは、OSRAMの限界や潜在的な問題点についての具体的な議論は不明である。 - ただし、結果は、閉ループモデリングとオンライン参照適応が、異なる制御目的とハードウェア構成にわたって有効であることを示している。 - また、ポリシーのファインチューニングや完全な物理動力学の同定の代替として実用的であると主張している。

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、sim-to-real転送、domain randomization、system identification、meta-learning、model predictive control (MPC)、reinforcement learning (RL) などが挙げられる。 - 具体的な論文名は要旨からは不明である。