何が起きたか

2024年6月26日にarXivで公開された論文「GenRL: Multimodal-foundation world models for generalization in embodied agents」において、研究チームはマルチモーダル基盤世界モデルを提案した。このモデルは、基盤ビジョン言語モデル（VLM）の表現を強化学習用の生成的世界モデルの潜在空間と接続・整列させ、言語アノテーションなしでタスクを指定できる。エージェント学習フレームワークGenRLは、視覚または言語のプロンプトでタスクを指定し、身体化されたドメインのダイナミクスに基づいて行動を想像の中で学習する。

詳細

従来の強化学習はタスクごとに複雑な報酬設計が必要でスケールが難しいが、言語はより自然にタスクを指定できる。しかし、既存の基盤VLMは身体化された文脈でのドメインギャップが大きく、微調整などの適応が必要であり、そのようなドメインでのマルチモーダルデータの不足が基盤モデル開発の障害となっていた。GenRLはこれらの問題を、基盤VLMの表現と生成的世界モデルの潜在空間を整列させることで解決し、言語アノテーションを不要にした。 大規模なマルチタスクベンチマーク（移動と操作のドメイン）での評価により、GenRLは言語および視覚プロンプトからのマルチタスク汎化を可能にした。さらに、データフリーのポリシー学習戦略を導入し、生成的世界モデルを用いた基盤的ポリシー学習の基盤を築いた。論文のウェブサイト、コード、データはhttps://mazpie.github.io/genrl/で公開されている。

Key Facts

GenRLは、基盤ビジョン言語モデル（VLM）と生成的世界モデルを統合したマルチモーダル基盤世界モデルを提案した。[1]
GenRLは言語アノテーションなしでタスクを指定できる。[1]
GenRLは視覚または言語のプロンプトでタスクを指定し、想像の中で行動を学習する。[1]
GenRLは移動と操作のドメインでの大規模マルチタスクベンチマークで評価された。[1]
GenRLは言語および視覚プロンプトからのマルチタスク汎化を実証した。[1]
GenRLはデータフリーのポリシー学習戦略を導入した。[1]
論文は2024年6月26日にarXivで公開された。[1]
ウェブサイト、コード、データはhttps://mazpie.github.io/genrl/で公開されている。[1]

なぜ重要か

GenRLは、基盤VLMと生成的世界モデルを統合することで、身体化エージェントの汎用学習における言語と視覚のギャップを埋める可能性を示した。データフリーのポリシー学習戦略は、生成的世界モデルを用いた基盤的ポリシー学習の新たな方向性を提示する。