VPP2、動画予測とロボット行動生成でゼロショット汎化を評価

何が起きたか

arXivに2026年10月7日掲載の論文は、動画予測と行動生成を組み合わせたロボットポリシー「Video Prediction Policy 2（VPP2）」を発表した。論文によると、VPP2-14Bはオープンエンド課題の動画予測指示追従成功率でCosmos3-64Bを11.0ポイント上回り、実環境のALOHA操作ではゼロショット成功率で最強ベースラインを18.5ポイント上回った。

詳細

VPP2は、操作動画を集めた大規模で多様なデータセットを整備し、詳細なキャプションを付けたうえで、イベント単位の動画事前学習を行う。続いて、動画モデルを固定予測ホライズンの単一ステップ視覚プランナーへ追加学習・蒸留し、Mixture-of-Transformers（MoT）構造の行動モジュールで暗黙的な逆動力学モデルを学習させる。 論文はさらに、ベンチマーク固有の追加学習後、VPP2がLIBERO-Pro、LIBERO-OOD、RoboDojoで評価対象手法中最高の成功率を達成したと報告している。

Key Facts

本紙の見方

VPP2の評価で目を引くのは、異なる二つの課題で比較値が示された点だ。オープンエンド環境の動画予測ではVPP2-14BがCosmos3-64Bを11.0ポイント上回り、実環境のALOHA操作ではゼロショット成功率で最強ベースラインを18.5ポイント上回った。ただし前者は動画予測の指示追従、後者は実ロボット操作であり、同じ指標の性能比較ではない。モデル規模の数字だけから、計算効率や汎用的な優位性まで導くこともできない。 手法の設計上の特徴は、動画モデルに行動出力を単純に足すのではなく、操作動画の追加学習、固定ホライズンの単一ステップ視覚プランナーへの蒸留、MoTによる行動モジュールを段階的に組み合わせたことにある。論文は既存の世界モデル型ポリシーについて、操作に適した最適化が不足した動画モデルと、行動要素を素朴に加えることによる汎化性能の低下を課題として挙げる。したがってVPP2は、動画予測の事前知識を行動に移す際、予測器と行動生成器の接続方法を設計対象にした研究と位置づけられる。 評価結果は、ゼロショットの実環境操作と、ベンチマーク固有の追加学習後の成績を分けて読む必要がある。ALOHAの結果は特定の操作設定で追加学習なしに評価した性能を示す一方、LIBERO-Pro、LIBERO-OOD、RoboDojoの結果はベンチマーク別の追加学習を経ている。後者をそのまま未経験環境へのゼロショット汎化とみなすことはできず、共通の学習条件や評価条件を確認しなければ、各結果の適用範囲は比較しにくい。 また、抄録にはデータセットの規模や構成、成功率の定義、試行数、誤差幅、実行時の計算量が記されていない。操作動画のイベント単位学習がどの種類の操作に有効か、視覚プランナーの固定予測ホライズンが環境変化にどう対応するかも、抄録の結果だけでは判断できない。実機での再現性や異なるロボットへの移転を検証する際には、これらの条件と、動画予測の改善が実際の行動成功にどの程度結びつくかを切り分けて見る必要がある。

なぜ重要か

論文が報告した18.5ポイントの差は、実環境ALOHA操作におけるゼロショット成功率の比較であり、動画予測の指示追従成績とは別の評価である。動画モデルを操作動画で追加学習し、視覚プランナーと行動モジュールを分けて構成する設計が、実環境操作の成功率にどう結びつくかを検証する材料となる。