日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2610.30320

未来映像表現の自己蒸留によるワールドアクションモデル

Self-Distilling Future Video Representations for World Action Models

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ拡散モデルの中間表現を1ステップで高品質化する自己蒸留フレームワークFREDを提案し、実世界マニピュレーションで長期的・未知環境タスクの成功率を大幅に向上させた。

詳しい要約

1. どんなもの？

- World Action Models (WAMs) の一種で、ロボットの汎用政策を学習する枠組み - 事前学習済み video diffusion model の時空間 prior を活用する - 推論効率化のため、単一 denoising step の中間 future video representation に action decoder を条件付ける - 本論文は FRED (Future REpresentation learning via self-Distillation with temporal context) を提案 - ノイズから単一 step で高品質な future representation を得るよう WAM を訓練する

2. 先行研究と比べてどこがすごい？

- 従来 WAM は action 予測が future representation の品質に直接依存する問題があった - FRED は self-distillation で単一 denoising step の future representation 品質を改善 - さらに historical observations を条件付け temporal context を付与 - 多様な実世界 manipulation で既存 WAM を一貫して上回る - long-horizon と out-of-domain、zero-shot 環境汎化で特に大きな改善 - human-to-robot skill transfer で 50.0% 成功 (最良の競合 WAM は 19.4%)

3. 技術・手法の肝は？

- self-distillation によりノイズから future representation を予測 - ターゲットは ground-truth future observations から抽出した representation - video model を historical observations に条件付け、temporal context を提供 - 単一 denoising step で future representation を生成し action decoder に渡す設計 - 反復 denoising を回避しつつ representation 品質を向上させる点が肝

4. どうやって有効だと検証した？

- 多様な real-world manipulation scenarios で評価 - 競合する WAM と比較し一貫した性能向上を確認 - long-horizon および out-of-domain タスクで特に大きな gain - zero-shot environment generalization 下で評価 - human-to-robot skill transfer を検証: ロボット訓練データに無く人間動画のみで示されたタスクで 50.0% 成功、最良競合 WAM は 19.4%

5. 議論はある？

- action 予測が future representation 品質に依存する設計上の課題を self-distillation で緩和 - 単一 denoising step で品質を高めることの有効性を示唆 - historical observations による temporal context の寄与が示唆される - long-horizon・out-of-domain・zero-shot 汎化・human-to-robot transfer での優位性を主張 - 具体的な限界や失敗事例、計算コストの詳細は要旨からは不明

6. 次に読むべき論文は？

- 比較対象の既存 WAMs (具体的名称は要旨からは不明) - video diffusion model を基盤とする WAM 関連研究 - self-distillation を用いた representation learning 関連手法 - human-to-robot skill transfer に関する研究 - zero-shot environment generalization を扱うロボット政策学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huiwon Jang, Suhyeok Jang, Hyeonmo Kang, Seungku Kim, Jinwoo Shin, Sihyun Yu

分類: cs.RO, cs.CV

原文アブストラクト

World Action Models (WAMs) have emerged as a promising approach to learning generalist robot policies using rich spatiotemporal priors from pre-trained video diffusion models. A recent line of WAMs improves inference efficiency by conditioning a separate action decoder on intermediate future video representations extracted from a single denoising step, avoiding costly iterative denoising required for video generation. This design makes action prediction depend directly on the quality of these future representations. In this paper, we introduce Future REpresentation learning via self-Distillation with temporal context (FRED), a framework that trains WAMs to improve the quality of future video representations from noise in a single denoising step. Specifically, FRED uses self-distillation to predict future representations from noise, using representations extracted from ground-truth future observations as targets. We further condition the video model on historical observations, providing temporal context for predicting future representations better. Across diverse real-world manipulation scenarios, FRED consistently outperforms competing WAMs. It achieves particularly large gains on long-horizon and out-of-domain tasks under zero-shot environment generalization, and substantially improves human-to-robot skill transfer, reaching 50.0% task success on tasks absent from robot training data and demonstrated only in human videos, compared with 19.4% for the best competing WAM.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧
PR本紙発行元 EmplifAI