Movens-Zero、動画など4モダリティからヒューマノイド動作を生成する基盤モデルを発表

何が起きたか

arXivに2026年10月30日掲載の論文は、人のインターネット動画から構築した「Movens-5M」と、ヒューマノイドの動作を理解・生成・実行する「Movens-Zero」を提示した。Movens-5Mは、人の動作1500万系列と、物理的に実行可能なヒューマノイド動作500万系列を収録し、合計で1万時間を超えるデータをテキスト、RGB動画、音声、音楽と対応付ける。論文は、4モダリティを対象とする8192組のベンチマーク「Movens-Intent」も紹介している。

詳細

データセットは、インターネット動画のクリップ化、品質フィルタリング、意味注釈、動作復元を経て、ヒューマノイドへの動作リターゲティングと実行検証による物理的な精緻化を行う。モデルは理解・生成・実行をつなぐ構成で、7種類の生成タスクを単一のアクションエキスパートで学習し、テキスト、音声、音楽、動画から動作を生成する。 論文が示す「Multimodal Real-Time Chunking」は、重なり合う動作チャンクを、更新され続ける指示とロボットの状態に接続して閉ループ実行を行う。実験では、実行検証済みデータの使用割合を1%から100%に、アクションエキスパートの規模を6400万から9億1100万パラメーターに拡大した際、4モダリティすべてで一貫した性能向上があったと報告している。

Key Facts

本紙の見方

この研究で重心となるのは、基盤モデルの規模だけではなく、人の映像をロボットが実行できる動作へ変換し、その実行検証を学習データに組み込む工程である。収録対象は人の動作1500万系列に加え、実行可能なヒューマノイド動作500万系列で、観察された動きとロボットの動作の間をリターゲティングと検証でつないでいる。したがって、モデルの入力を増やすだけでなく、出力が物理的に実行できるかをデータ形成の段階で扱う点が、論文の中核と読める。 データから実行までの流れは、インターネット動画の処理、意味や動作の復元、ロボット向けの変換・検証、複数モダリティによる学習、実時間の閉ループ制御という連鎖をつくる。ここでは、人の動画をそのまま模倣対象とするのではなく、ロボットの実行状態に合わせて連続的に動作を接続する設計が置かれている。指示とロボット状態を更新しながら重なり合うチャンクをつなぐ方式は、事前に固定した動作列を生成するだけの構成とは異なる制御上の焦点を示す。ただし、論文要旨にある「実時間」は、具体的な遅延や制御周期を示す数値ではない。 単一のアクションエキスパートで7タスクを学習する設計は、テキスト、音声、音楽、動画ごとに別々の動作生成系を構築するのではなく、共通の動作生成能力を学習させる方向を示す。4モダリティで性能向上を報告した点は、データの多様性と実行可能性を含む教師信号を同じ枠組みで扱う意義を支える。一方、実行検証済みデータの割合とモデル規模を変えた実験結果だけからは、それぞれの寄与や、どの条件で向上幅が大きいかまでは要旨から判定できない。 事業・技術の観点では、動画を集めるだけでなく、品質選別、意味付け、動作復元、ロボットへの変換、実行確認までを継続できるデータ工程が必要になる。データ量を増やすほど、この工程の品質が学習結果にどう反映されるかが焦点となる。次に確認すべきなのは、実験に用いたロボットの種類、実環境での評価条件、モダリティ別の性能指標、リアルタイム実行の遅延、実行失敗を検証データへ戻す方法である。要旨はこれらの具体値や条件を示しておらず、提示された規模と性能向上を、そのまま実用環境での汎用性や安定性と同一視することはできない。

なぜ重要か

論文のデータセットは、人の動画を収録するだけでなく、動作復元後にヒューマノイドへのリターゲティングと実行検証を施し、物理的に実行可能な動作系列を含める。データ収集とロボット実行の間に検証工程を置く設計であり、動画由来の動作を実機に適用する際のデータ品質をどう担保するかに関わる。