Mixture-of-World Models、マルチタスク強化学習で新たなスケーラビリティを実証

何が起きたか

2026年2月1日にarxiv.orgで公開された論文「Mixture-of-World Models: Scaling Multi-Task Reinforcement Learning with Modular Latent Dynamics」において、マルチタスク強化学習のための新しいアーキテクチャMoWが発表された。MoWは、タスク適応型視覚圧縮のためのモジュラー変分オートエンコーダ、タスク条件付きエキスパートと共有バックボーンを備えたハイブリッドTransformerベースのダイナミクスモデル、勾配ベースのタスククラスタリング戦略を組み合わせる。Atari 100kベンチマークで26ゲームを単一エージェントで学習し、平均人間正規化スコア110.4%を達成した。

詳細

MoWは、マルチタスク強化学習におけるサンプル効率の課題に対処するため、モジュラー変分オートエンコーダによるタスク適応型視覚圧縮、タスク条件付きエキスパートと共有バックボーンを持つハイブリッドTransformerベースのダイナミクスモデル、勾配ベースのタスククラスタリング戦略を統合する。Atari 100kベンチマークでは、単一のMoWエージェントが26のAtariゲームで学習し、平均人間正規化スコア110.4%を達成した。これは、26個のタスク特化モデルのアンサンブルであるSTORMの114.2%に匹敵し、パラメータ数は50%少ない。Meta-Worldでは、30万環境ステップ以内に74.5%の平均成功率を達成し、新たな最先端を確立した。

Key Facts

本紙の見方

今回の発表は、マルチタスク強化学習における世界モデルのスケーラビリティを大きく前進させるものだ。従来のモノリシックな世界モデルは、タスク間の観測とダイナミクスの多様性を捉えるのが難しく、再構築と予測の精度が低下するという課題があった。MoWは、モジュラーな変分オートエンコーダとタスク条件付きエキスパートを導入することで、この課題に対処し、単一のエージェントで複数のタスクを効率的に学習できることを示した。 本紙の過去報道との接続は、関連記事が提供されていないため直接的な言及は避けるが、強化学習分野における世界モデルの進展は、ロボティクスや自動運転など、実世界の応用に向けた重要なステップとみられる。MoWの成果は、モデルベース強化学習のサンプル効率を向上させるだけでなく、パラメータ効率の面でも優れており、大規模なマルチタスク学習の実用化に寄与する可能性がある。 業界構造への含意としては、MoWのアーキテクチャは、タスクの多様性に応じてパラメータを動的に割り当てるため、計算資源の最適化に寄与する。これにより、強化学習を利用する企業や研究機関は、より少ないリソースで多様なタスクを処理できるようになる可能性がある。また、タスククラスタリング戦略は、タスク間の類似性を自動的に発見するため、新しいタスクへの適応が容易になるかもしれない。 未確定の論点としては、MoWの性能がAtari 100kやMeta-Worldといった特定のベンチマークで検証されているが、実世界の複雑な環境での有効性はまだ不明である。また、パラメータ削減の効果が大規模なタスクセットでどの程度維持されるか、また、タスククラスタリングの計算コストが全体の学習時間に与える影響も検証が必要だ。さらに、MoWのアーキテクチャが他のモデルベース強化学習手法とどのように組み合わせられるかも今後の課題となる。

なぜ重要か

MoWは、マルチタスク強化学習における世界モデルのスケーラビリティとパラメータ効率を同時に向上させる新しい手法であり、単一のエージェントで多様なタスクを学習する汎用AIの実現に近づくものだ。この成果は、ロボット制御や自動運転など、実世界の複雑なタスクへの応用に重要な意味を持つ。