人間動画の対から移転可能なworld-actionモデルを学習するWATCHを提案

何が起きたか

arXivの2026-10-09掲載論文は、タスク対になった人間デモンストレーションから学ぶクロス動画事前学習手法WATCHを提案した。WATCHは、あるデモンストレーションの動画と行動を条件に、別のデモンストレーションの行動と未来フレームを、現在の観測から同時に予測する設計である。著者らは、これにより場面や実体をまたいで転移する、タスク関連の相互作用を学べるとしている。

詳細

論文は、WATCHが従来のwithin-video next-frame predictionと異なり、動画内の外観共有ではなく、別動画間の相互作用予測を学習させる点を中核に置くと説明している。事前学習は、対応づけられた人間-ロボット対を必要とせず、拡張可能な人間-人間ペアだけで行えるとしている。 著者らによれば、ロボットの後段学習前の分析では、WATCHは実体間のモーション整合と、未見ロボットに対する行動・動画予測を改善し、表現はロボット対で学んだものに近づいた。後段のロボット学習後には、Cosmos PolicyでMimicDroidのin-context successが40.9%から68.3%に、Cosmos3では59.8%から77.7%に上昇したとしている。

Key Facts

本紙の見方

WATCHの新しさは、動画を並べて見るだけの事前学習ではなく、別のデモンストレーションを使って行動と未来フレームを相互に当てさせる点にある。ここで主役なのは大規模なデータ量そのものではなく、ペア化された人間動画を使って「場面をまたいで通用する相互作用表現」を引き出そうとする学習目的だとみられる。従来のwithin-video予測が外観の共通部分に逃げやすいという問題設定に対し、WATCHは予測対象を別動画へずらすことで、見た目より動作関係に注意を向けさせる構造になっている。 本紙の過去報道は与えられていないため、連続性はこの論文内部で読むしかないが、論文は「人間-人間ペアのみで事前学習できる」ことを強調している。これは、人間-ロボットの対応データを集めてから学ぶ流れに対して、データ収集の制約を一段ゆるめる提案である一方、ロボット本体への適用は後段のpost-trainingに残している点が重要である。つまり、基盤表現は人間動画で作り、実機適応は別工程で行う二段構えであり、完全にロボット側のデータを不要にしたわけではない。 業界構造への含意としては、ロボット学習のボトルネックが「実機データの絶対量」だけでなく、「異なる実体間で共有できる表現をどう作るか」にあることを示す。論文が未見ロボットでの予測改善と、Cosmos PolicyおよびCosmos3でのMimicDroid成功率向上を示したことから、評価の焦点は単一ベンチマークの精度ではなく、複数のロボット実体にまたがる転移性に移っていると読める。いっぽうで、著者らの結果は事前学習後とロボット後段学習後で分かれており、どの程度が事前学習そのものの寄与で、どの程度が後段学習の寄与かは切り分けを確認する必要がある。加えて、MimicDroid以外のタスクやロボット形態で同じ改善が出るか、context-free post-trainingでも優位が続く条件は何かが次の論点になる。

なぜ重要か

この論文は、ロボットに必要な学習データを「実機で集める」以外の経路として、人間動画の対から転移表現を作る道を示している。著者らの主張が成り立つなら、対応する人間-ロボット対が少ない場面でも、事前学習段階の学習設計で転移性を高められる可能性がある。