ZimaBlue、大規模動画事前学習でロボット操作の汎化を向上 成功率36.1%→77.8%

何が起きたか

研究チームは2026年8月31日、大規模な動画事前学習から汎用的なWorld Action Model（WAM）を学習するフレームワーク「ZimaBlue」を発表した。実ロボットのゼロショット評価では、対象ロボットのデータのみを用いた場合から12万時間以上の身体化動画を追加することで、成功率が36.1%から77.8%に向上した。ZimaBlueは、人間とロボットの大規模な一人称動画を事前学習に用いる3段階のカリキュラムを採用している。

詳細

ZimaBlueは3段階の学習カリキュラムを採用する。第1段階では、大規模な人間およびロボットの一人称動画を用いた因果的身体化動画事前学習を行う。第2段階では、統一された行動表現を用いたビデオ・アクション中間学習により、学習した視覚ダイナミクスを異種のロボット軌道に接地する。第3段階では、対象ロボットに特化して展開する。また、非同期のSlow-Fast二重システムアーキテクチャを採用し、高容量のSlowワールドモデルが汎用的な時空間表現を提供し、軽量なFastブランチがNVIDIA RTX 4090上で30Hzの行動予測を実現する。実ロボットのゼロショット評価では、対象ロボットのデータのみから12万時間以上の身体化動画にスケールすることで、成功率が36.1%から77.8%に向上した。

Key Facts

本紙の見方

ZimaBlueの核心は、行動ラベル付きロボット軌道の不足を、大規模な一人称動画で補う点にある。ロボット操作の汎化には多様な物理的経験が必要だが、行動ラベル付きデータは収集コストが高く、多様性に限界がある。一方、一人称動画は物体操作や接触ダイナミクス、道具使用、長期的行動を多様な環境で捉えた、よりスケーラブルな経験源である。ZimaBlueはこの行動ラベルなしの経験を、3段階のカリキュラムで効果的なロボット制御に変換する。 特筆すべきは、Slow-Fast二重システムアーキテクチャの採用だ。高容量のSlowワールドモデルが汎用的な時空間表現を提供し、軽量なFastブランチがリアルタイム制御を担う。これにより、生成型WAMの実時間制御への応用が現実的になる。NVIDIA RTX 4090上で30Hzの行動予測を実現する点は、研究用途に留まらず、実機展開を見据えた設計と言える。 成功率の向上幅は顕著だ。対象ロボットのデータのみでは36.1%だった成功率が、12万時間以上の身体化動画を追加することで77.8%に達した。これは、動画事前学習のスケールがロボット操作の汎化に直結することを示す。さらに、複数のベンチマークで強い性能を示し、特に未見タスクでの向上が顕著である点は、単なるデータ量の効果ではなく、動画から獲得した物理的常識が未知の状況への適応に寄与していることを示唆する。 一方で、本論文はプレプリントであり、査読を経ていない。また、評価に用いたロボットプラットフォームやタスクの詳細、動画データの出典と多様性、他手法との比較における公平性などは、論文本文を精査する必要がある。さらに、12万時間の動画データの収集と計算資源の規模は、再現可能性の観点から重要な論点となる。 業界構造への含意として、ZimaBlueはロボット学習におけるデータ戦略の転換を示す。従来のロボット軌道データへの依存から、動画データを活用した事前学習への移行は、データ収集コストを大幅に削減する可能性がある。また、Slow-Fastアーキテクチャは、エッジデバイスでのリアルタイム推論を可能にし、ロボットのオンボード制御への応用が期待される。 今後の論点は、ZimaBlueの実ロボット展開における汎化性能の検証、動画データの質と多様性の影響、そして計算資源の効率化である。特に、12万時間の動画データがどのように収集・選別されたかは、実用化に向けた重要な情報となる。

なぜ重要か

ZimaBlueは、ロボット操作の学習におけるデータ不足という根本的な課題に対し、大規模な動画事前学習というスケーラブルな解決策を示した。成功率の大幅な向上は、動画データがロボットの汎化性能を飛躍的に高める可能性を実証しており、今後のロボット学習の方向性を左右する。