動画生成モデルを視覚基盤に活用する「GenCeption」、arXivで発表

何が起きたか

2026年7月10日、arXivに投稿された論文で、テキストから動画を生成する拡散モデルを視覚認識の事前学習に活用する「GenCeption」が発表された。同手法は深度推定や法線推定、カメラ姿勢推定、表情参照セグメンテーション、3Dキーポイント予測などのタスクで最先端性能を達成したと報告している。

詳細

GenCeptionは、事前学習済みの動画生成拡散バックボーンを用いて、テキスト指示で様々な視覚タスクを実行するフィードフォワード知覚モデルを定義する。実験では、DepthAnything3、SAM3、D4RT、VGGT-Omega、Sapiens、David、Genmo、Lotus-2などの専門モデルと同等以上の性能を示した。また、V-JEPAやVideo MAEなどの代替事前学習パラダイムよりも優れているとしている。データ効率に関しては、D4RTやVGGT-Omegaと同等の性能を、7倍から500倍少ない学習データで達成したと報告。さらに、合成人間動画のみで学習したモデルが実世界の映像や動物・ロボットなどの分布外カテゴリに一般化する創発的行動も観察された。

Key Facts

本紙の見方

今回の発表は、コンピュータビジョンにおける汎用基盤モデルの実現に向けた一つの方向性を示すものだ。NLPが次トークン予測によってタスク特化型から汎用基盤モデルへと移行したのに対し、視覚分野では大規模なテキストから動画への生成がその触媒となり得るという主張は、既存の画像生成や動画生成を単なる合成ツールと見なす見方に一石を投じる。 本紙の過去報道との接続はないが、視覚基盤モデルの研究は近年急速に進展しており、自己教師あり学習やマスク自動符号化などのパラダイムが提案されてきた。GenCeptionは、動画生成という異なる事前学習パラダイムを提案し、従来のV-JEPAやVideo MAEと比較して優位性を示した点で、既存の流れの延長線上にありつつも、生成モデルを認識に活用するという点で新規性がある。 業界構造への含意としては、動画生成モデルが視覚認識の基盤として機能することで、ロボティクスや自動運転など物理世界を扱う分野での応用が期待される。特に、合成データのみで学習したモデルが実世界や未知のカテゴリに一般化するという結果は、データ収集コストの削減につながる可能性がある。一方で、動画生成モデルの計算コストや推論速度は実用化への課題となるだろう。 未確定の論点としては、GenCeptionの性能が特定のデータセットやタスクに依存していないか、また、実際のロボットや自動運転システムに組み込んだ際の実効性が検証されていない点が挙げられる。さらに、動画生成モデルのスケーリング則がどこまで有効か、学習データの多様性が一般化にどの程度影響するかも今後の研究課題だ。

なぜ重要か

動画生成モデルが視覚認識の基盤として機能する可能性を示したことで、視覚AIの開発パラダイムが変わる可能性がある。特に、データ効率の高さは、データ収集が困難な物理世界のタスクへの応用を後押しするだろう。