NVIDIA、ロボット学習の汎用化を目指す「DreamGen」を発表 ビデオ世界モデルで合成データ生成

何が起きたか

NVIDIAは2025年5月19日、arxiv.orgに「DreamGen: Unlocking Generalization in Robot Learning through Video World Models」と題する論文を公開した。同手法は、画像から動画を生成するモデルをロボットの形態に適応させ、多様な環境での合成ビデオを生成し、そこから疑似行動系列を復元することでロボットポリシーを訓練する。

詳細

DreamGenは4段階のパイプラインで構成される。まず、最先端の画像から動画への生成モデルを対象ロボットの形態に適応させ、既知または新規タスクのフォトリアリスティックな合成ビデオを生成する。次に、潜在行動モデルまたは逆動力学モデル(IDM)を用いて、ビデオから疑似行動系列を復元する。この手法により、単一環境での単一のピックアンドプレース作業の遠隔操作データのみで、ヒューマノイドロボットが既知・未知の環境で22の新行動を実行できるとしている。評価用に、ベンチマーク性能と下流のポリシー成功率に強い相関を示す「DreamGen Bench」も導入された。コードはGitHubで公開されている。

Key Facts

本紙の見方

今回の発表は、ロボット学習におけるデータ不足という根本的な課題に対し、ビデオ生成モデルを活用した合成データ生成という新たな軸を提案する点で注目される。従来のロボット学習は、実機での遠隔操作データ収集に依存し、そのコストと時間がスケールの制約となっていた。DreamGenは、画像から動画への生成モデルをロボットの形態に適応させることで、多様な環境での合成ビデオを生成し、そこから行動を復元する。これにより、単一タスクのデータから22の新行動を獲得できるとされ、手動データ収集を超えたスケーリングの可能性を示す。 本紙の過去報道では、AIの推論シフトに伴いNVIDIAがAIエージェントに注力し始めたこと、また光電融合CPOなど後工程技術で日本勢が存在感を示すと報じた。DreamGenは、ロボット学習の分野でNVIDIAが基盤モデルとハードウェアの両面でエコシステムを拡張する戦略の一環とみられる。特に、NVIDIA Isaac GR00T基盤モデルやJetson Thorといった既存のロボット向けプラットフォームとの連携が想定され、合成データ生成がこれらの基盤モデルの学習データを補完する役割を果たす可能性がある。 業界構造への含意として、合成データ生成技術はロボット開発の参入障壁を下げる可能性がある。データ収集のコストが下がれば、ロボットスタートアップや研究機関がより多様なタスクに挑戦できるようになり、競争が加速するだろう。一方で、合成データの品質と実環境とのギャップが課題となる。DreamGenはフォトリアリスティックなビデオを生成するが、シミュレーションと実機の差（シムトゥリアルギャップ）が依然として残る。 未確定の論点としては、DreamGenが生成する合成データの実機での性能がどの程度か、また大規模なタスクや複雑な環境での汎化がどこまで可能かが挙げられる。さらに、ビデオ生成モデルの計算コストや、生成された行動系列の正確性も検証が必要だ。次に確認すべきは、DreamGenが実際のロボットに適用された際の成功率や、他の研究グループによる再現実験の結果であろう。

なぜ重要か

ロボット学習のスケーリングは、データ収集のコストが最大の障壁とされてきた。DreamGenは、ビデオ生成モデルによる合成データ生成という新たな手法を提示し、この障壁を低減する可能性を示す。NVIDIAがこの分野で主導権を握ることで、ロボット開発の民主化が進み、産業用・サービス用ロボットの普及が加速する可能性がある。