WorldBridge、動画予測と行動生成を分けたロボット学習モデルを発表

何が起きたか

arXiv掲載の論文「WorldBridge: Bridging Video and Action for Task Generalization in World Action Models」は2026年10月29日、World Action Model（WAM）で未学習タスクへの汎化を調べ、動画予測と行動生成を接続するWorldBridgeを提案した。RoboTwin 2.0では、学習範囲内の動画・行動データだけを使った場合の未学習タスク成功率が25.07%だったのに対し、未学習タスクの動画を加えると55.90%、タスクごとに行動ラベル付きデモを1件加えると70.70%となった。

詳細

WorldBridgeは、動画を扱う専門モデルと行動を扱う専門モデルを、構造化された注意機構で接続し、joint flow matchingで学習する。視覚情報を異なる2つの時間スケールで保持するメモリーと、action forcingを取り入れた。ロボットの軌跡データと、一人称視点映像から得た手の動きに基づく教師データを標準化・フィルタリングする統一データ処理パイプラインも含む。 論文が比較対象の手法に対する最高性能として報告した値は、RoboTwin 2.0の全データ設定で96.23%、clean to random設定で80.9%、RoboCasa GR1 TableTopで82.8%、DOMINO Level-1で57.6%だった。

Key Facts

本紙の見方

未学習タスクでの成功率は、動画を追加した段階で30.83ポイント上がり、さらに行動付きデモを1件加えると14.80ポイント上昇した。この比較が示すのは、行動ラベルを大量に増やす前に、タスクの見た目や進行を含む動画の範囲を広げることが転移に寄与しうるという点だ。論文は、既存の逆動力学能力を活用して動画から行動へ移るという見方を示している。ただし、これらはRoboTwin 2.0の設定内での結果であり、未知の実環境にそのまま適用できることを示すものではない。 技術上の特徴は、動画予測と行動生成を一つの能力として扱わず、別々の専門モデルを接続したことにある。動画側は新しいタスクでの視覚的な変化を予測し、行動側はその予測を実行可能な動きに変換する。動画だけを加えた場合と、行動ラベルを少量加えた場合の成績差を並べた実験設計は、この二つの段階の寄与を分けて見るものと読める。したがって、学習データを集める側にとっては、ロボットの行動ラベル付き実演だけでなく、行動ラベルのない動画をどのように集め、既存の行動モデルと接続するかが論点になる。 一方、動画・行動の専門モデルを構造化された注意機構で結ぶ構成や、異なる時間スケールの視覚メモリー、action forcingは、動画から行動への橋渡しを実装するための設計要素である。さらに、異種ロボットの軌跡と一人称映像由来の手の動きの教師データを同じ処理基盤で標準化・フィルタリングする点は、データ形式の違いを扱う工程をモデル構成の一部に含めたものといえる。動画の多様化だけで汎化が成立するのではなく、データの処理と行動への接続が併せて必要になる可能性がある。 論文は複数の操作ベンチマークで比較対象を上回る値を報告しているが、提示された情報からは、各タスクの成功率のばらつき、必要な動画量、学習・推論に要する計算資源、異なるロボット間での転移条件は確認できない。実機での性能や安全性もここに示されたベンチマーク値だけでは判断できない。次に検証すべきなのは、動画データの量と多様性がどの条件で効くのか、少数の行動デモが異なるタスクや機体でも同様に寄与するのか、そしてベンチマーク外の環境で予測した動画と実際の動作がどこまで一致するかである。

なぜ重要か

RoboTwin 2.0では、未学習タスクの動画を加えた場合と、さらに行動ラベル付きデモを1件加えた場合の成功率が別々に示され、動画と行動データの寄与を区別して検討できる。ロボット学習のデータ設計では、行動ラベル付き実演に加えて、動画をどう利用するかが具体的な比較対象になる。