EnvDreamer: 大規模マルチモーダルから環境生成による身体性AIの実現

EnvDreamerは、大規模言語モデルと視覚言語モデルを用いてUnreal Engine 5の仮想環境を生成するフレームワーク。embodied AIとロボット訓練向けに、多様でインタラクティブ、カスタマイズ可能、かつvalidator通過済みの環境を大量にサンプリングできる。ナビゲーション、インタラクション、マニピュレーションの訓練・評価に使える。EnvDreamer-20kとして20,000のvalidator通過環境とタスクプログラム、シーングラフ、軌道、メタデータを公開。

視覚と言語分野の大規模データ・大容量モデルの進展をembodied learning、world models、ロボティクスにもたらすことを狙う。従来のembodied AI環境生成と比べ、LLMとVLMでUnreal Engine 5環境を生成し、大規模・多様・インタラクティブ・カスタマイズ可能・validator通過済みの環境を提供する点が特徴。明示的なマッピングや人間のタスク監督なしで訓練したポリシーが複数のembodiedベンチマークで競争力のある結果を得る。

大規模言語モデルと視覚言語モデルを活用し、Unreal Engine 5の環境を生成する。生成環境はナビゲーション、インタラクション、マニピュレーションに対応。validatorを通した環境のみを採用。画像条件付き再構成によりreal-to-sim研究も支援。EnvDreamer-20kにはタスクプログラム、シーングラフ、軌道、メタデータを含む。

生成した多数のシーンと簡単なベースラインを示す。EnvDreamer生成環境で訓練したポリシーが、明示的なマッピングや人間のタスク監督なしに、ナビゲーション、再配置、マニピュレーションにわたる複数のembodiedベンチマークで競争力のある結果を達成。EnvDreamer-20kとして20,000のvalidator通過環境を公開し、再現可能なベンチマークを支援。

要旨からは不明。

要旨で参照・比較されている研究は明示されていない。同分野の関連手法として、Unreal Engine 5を用いたembodied AI環境生成、大規模言語モデル・視覚言語モデルによる環境生成、real-to-sim、ナビゲーション・再配置・マニピュレーションのembodiedベンチマークが挙げられる。