世界モデル模倣学習の新手法、RNDに基づく報酬モデルを提案

何が起きたか

arXivに2025年5月4日付で公開された論文（識別番号2505.02228v2）において、研究チームは「Coupled Distributional Random Expert Distillation for World Model Online Imitation Learning」と題する新手法を発表した。この手法は、世界モデルの潜在空間における専門家分布と行動分布の結合推定に基づく報酬モデルを構築し、オンライン模倣学習の安定性向上を目指す。評価はDMControl、Meta-World、ManiSkill2の各ベンチマークで実施され、移動タスクと操作タスクの双方で専門家レベルの結果を示したと報告されている。

詳細

模倣学習（IL）は、ロボット工学、自動運転、医療など多様な分野で成功を収めてきたが、既存手法は世界モデルフレームワークにおける敵対的報酬や価値定式化に依存する場合に不安定さを抱えることが課題とされてきた。本研究では、この限界に対処するため、密度推定にランダムネットワーク蒸留（RND）を用いた報酬モデルを提案している。報酬モデルは、世界モデルの潜在空間内で専門家分布と行動分布を結合推定することに基づく。 提案手法は、敵対的手法と比較して安定性が向上しつつ、専門家レベルの性能を維持することを示したとしている。評価には、連続制御ベンチマークのDMControl、ロボット操作のMeta-World、および操作タスクのManiSkill2が用いられ、移動タスクと操作タスクの両方で有効性が確認された。

Key Facts

なぜ重要か

本手法は、世界モデルを用いた模倣学習における敵対的報酬の不安定性という課題に対し、RNDに基づく報酬モデルで代替する点で新規性がある。複数のベンチマークで専門家レベルの性能と安定性を両立したと報告されており、ロボットや自動運転など実世界の模倣学習応用への貢献が期待される。