動画モデルをロボット制御に適応、動的領域に注目するMoGAPを提案

何が起きたか

arXiv掲載論文は2026年10月27日、動画モデルをロボット制御に適応させる学習法「Motion-Guided Asymmetric Prediction（MoGAP）」を提案した。GR-1 tabletop benchmarkの成功率は、Fast-WAM（Wan2.2-5B）で38.8%から47.5%へ、Cosmos3-Nanoで52.3%から62.3%へ上がったと報告した。

詳細

MoGAPは、学習動画から直接得る動きの手掛かりを使い、動的領域にはより強いノイズを加えて再構成させ、ノイズの少ない静的領域を文脈として利用する。外部の教師モデルや追加モダリティは必要としない。 この予測は、共有する動画拡散バックボーン上で、通常の動画・行動予測と並行して動く学習時のみの補助経路として実装される。論文はロボット操作ベンチマークと複数のWorld Action Model（WAM）構成で性能改善を報告している。

Key Facts

本紙の見方

GR-1 tabletop benchmarkでの改善幅は、Fast-WAM（Wan2.2-5B）が8.7ポイント、Cosmos3-Nanoが10.0ポイントである。論文の焦点は動画生成モデルをロボット制御に使う枠組みそのものではなく、学習時に視覚情報をどの領域へ割り当てるかにある。従来の動画予測が画面内の領域を一様に扱うのに対し、MoGAPはロボット操作に関わる動的領域の予測を重くする設計だ。 この違いは、動画予測を行動学習に組み込むWAMにおいて、映像全体の再構成精度を均等に高めるだけでは制御性能につながらない可能性を示す。MoGAPは、動きの少ない領域を手掛かりとして残しつつ、動的領域をより難しい再構成対象にする。視覚予測の学習信号を制御上の重要度に合わせる試みと読める。ただし、論文要旨が示す数値はGR-1 tabletop benchmarkの2構成であり、改善が他のタスクや実環境でも同じ幅で得られることまでは示していない。 実装上は、MoGAPを通常の動画・行動予測と同じ動画拡散バックボーン上の補助経路として学習し、推論時の追加モダリティや外部教師を求めない点が特徴となる。この構成なら、既存のWAM学習に補助的な視覚予測を加える方法として検討できるが、実際の学習コストや推論時の計算負荷がどう変わるかは要旨から判断できない。追加の入力を必要としないことと、導入コストが小さいことは同義ではない。 次に確認すべきなのは、各ベンチマークでの評価条件、試行数やばらつき、未学習環境や異なる操作への汎化、学習時間・計算資源への影響である。また、本文要旨は複数のベンチマークとWAM構成で一貫した改善を述べる一方、ここで具体的な成功率を示すのはGR-1 tabletop benchmarkの2例に限られる。動きの手掛かりの作り方やノイズ配分の条件が変わった場合にも効果が保たれるかが、手法の適用範囲を見極める論点となる。

なぜ重要か

論文の結果は、ロボット操作向け動画モデルの学習で、画像全体を均等に予測する代わりに動的領域を重点化する設計が、GR-1 tabletop benchmarkの2構成で成功率向上と結び付いたことを示す。学習動画以外の教師や追加モダリティを使わないため、WAMの視覚予測をどう設計するかが性能改善の検討対象となる。