日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.36624

動きに着目した非対称予測で動画モデルをロボット制御に適応させる手法

Adapting Video Models for Robot Control via Motion-guided Asymmetric Prediction

シェア:XThreadsFacebookLINEはてブBluesky

動画生成モデルをロボット制御に転用する際、動きのある領域に重点的に視覚予測の学習を割り当てるMoGAPを提案し、操作タスクの成功率を向上させた。

詳しい要約

1. どんなもの？

- World Action Models (WAMs) は、pretrained video generative model を活用し、将来の視覚観測と action を同時に予測することでロボット制御を行う枠組み。 - 本論文は、WAM における visual supervision の空間的配分に着目し、動的な領域に supervision を集中させることが policy 性能を大きく改善することを示す。 - その知見に基づき、motion-focused な visual prediction を WAM 学習に追加する Motion-Guided Asymmetric Prediction (MoGAP) を提案する。

2. 先行研究と比べてどこがすごい？

- 従来の video pretraining 由来の visual prediction は、ロボット制御への関連度が異なるにもかかわらず全視覚領域を均一に扱っていた。 - 本論文は visual supervision の空間配分を検討し、dynamic 領域への集中が policy 性能を改善することを示した点が新しい。 - MoGAP は external teacher や追加 modality を必要とせず、training video から直接得られる motion cue のみを用いる点が特徴的。

3. 技術・手法の肝は？

- MoGAP は motion-focused な visual prediction を WAM 学習に追加する。 - 領域ごとに noise を非対称に割り当て、より強く破壊された dynamic 領域を、破壊の少ない static 領域を context として再構成するよう学習する。 - 共有 video diffusion backbone 内の training-only auxiliary prediction path として、標準の video-action prediction と並行して学習される。 - motion cue は training video から直接導出され、external teacher も追加 modality も不要。

4. どうやって有効だと検証した？

- 複数の robot manipulation benchmark と WAM architectures で評価。 - GR-1 tabletop benchmark において、Fast-WAM (Wan2.2-5B) で成功率が 38.8% から 47.5% へ、Cosmos3-Nano で 52.3% から 62.3% へ向上。 - WAM architectures をまたいで policy 性能が一貫して改善したと報告。

5. 議論はある？

- 要旨からは不明（具体的な限界や失敗ケース、計算コスト、auxiliary path の詳細な議論は要旨に記載なし）。 - 示唆として、visual supervision の空間配分が WAM の policy 性能に重要である点が議論の中心。

6. 次に読むべき論文は？

- Fast-WAM (Wan2.2-5B) - Cosmos3-Nano - World Action Models (WAMs) 関連の video-action 同時予測研究 - video diffusion backbone を用いた robot policy 学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taeyoung Kim, Junyoung Sung, Heeseung Kwon, Minseop Kim, Jinwoo Shin

分類: cs.CV, cs.AI

原文アブストラクト

World Action Models (WAMs) leverage pretrained video generative models for robotic control by jointly predicting future visual observations and actions. The visual prediction objective plays a key role in adapting pretrained video representations to the target robot domain. Yet standard visual prediction inherited from video pretraining treats all visual regions uniformly, despite their differing relevance to robotic control. We therefore investigate the spatial allocation of visual supervision in WAMs and show that focusing supervision on dynamic regions can substantially improve policy performance. Building on this finding, we introduce Motion-Guided Asymmetric Prediction (MoGAP), which augments WAM training with motion-focused visual prediction. MoGAP allocates noise asymmetrically across regions, training the model to reconstruct more heavily corrupted dynamic regions using less corrupted static regions as context. MoGAP is trained alongside standard video-action prediction through a training-only auxiliary prediction path within the shared video diffusion backbone. It uses motion cues derived directly from training videos, requiring neither an external teacher nor additional modalities. Across robot manipulation benchmarks and WAM architectures, MoGAP consistently improves policy performance, increasing success rates on the GR-1 tabletop benchmark from 38.8% to 47.5% for Fast-WAM (Wan2.2-5B) and from 52.3% to 62.3% for Cosmos3-Nano.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI