何が起きたか
2024年10月17日にarXivに公開された論文（ID: 2410.14040v4）で、WARPD（World model Assisted Reactive Policy Diffusion）と呼ばれる新しいロボット学習手法が提案された。この手法は、オープンループの軌道ではなく、閉ループのポリシー（ニューラルポリシーの重み）を直接生成することで、拡散モデルを用いた模倣学習の課題を解決する。具体的には、推論時のFLOPsを従来のDiffusion Policyの約45分の1に削減しつつ、マルチタスク性能を同等に維持し、長期的なタスクや外乱のある環境ではDiffusion Policyを上回る性能を達成したと報告されている。
詳細
近年、オープンソースのロボットデータの増加に伴い、模倣学習は操作と移動の両方で有望なアプローチとなっている。拡散モデルは、マルチモーダルな行動分布をモデル化できることから、制御や軌道を予測する大規模な汎用ポリシーの訓練に広く用いられている。しかし、この汎用性はモデルサイズの増大と推論の遅延を招き、高い制御周波数が要求されるロボットタスクでは深刻な制約となる。また、一般的な軌道生成手法であるDiffusion Policy（DP）は、性能とアクションのホライズンの間にトレードオフがあり、拡散クエリの回数を減らすと軌道のチャンクが大きくなり、追従誤差が蓄積する問題があった。 WARPDは、これらの課題に対処するため、軌道空間ではなくパラメータ空間で行動分布を学習する。これにより、(1)外乱に対する頑健性を保ちながらアクションホライズンを延長でき、高いタスク性能を維持できること、(2)推論コストを大幅に削減できること、の2つの利点があるとしている。実験では、WARPDは長期的なタスクや外乱のある環境でDPを上回り、マルチタスク性能はDPと同等でありながら、推論時のFLOPsは1ステップあたり約45分の1に抑えられた。
Key Facts
| WARPDは、軌道ではなくパラメータ空間で行動分布を学習する手法である。 | [1] |
| WARPDは、推論時のFLOPsをDiffusion Policyの約45分の1に削減した。 | [1] |
| WARPDは、長期的なタスクや外乱のある環境でDiffusion Policyを上回る性能を示した。 | [1] |
| WARPDは、マルチタスク性能でDiffusion Policyと同等の性能を達成した。 | [1] |
| WARPDは、閉ループのポリシー（ニューラルポリシーの重み）を直接生成する。 | [1] |
| Diffusion Policyは、性能とアクションホライズンの間にトレードオフがあり、拡散クエリを減らすと追従誤差が蓄積する問題がある。 | [1] |
| 拡散モデルは、マルチモーダルな行動分布をモデル化できるため、制御や軌道を予測する大規模な汎用ポリシーの訓練に広く用いられている。 | [1] |
| 模倣学習は、操作と移動の両方で有望なアプローチとなっている。 | [1] |
なぜ重要か
WARPDは、拡散モデルを用いたロボットポリシーの推論コストを大幅に削減する可能性を示しており、高周波制御が必要な実ロボットへの展開を促進する。また、パラメータ空間での学習という新しい視点は、今後のロボット学習研究に影響を与える可能性がある。