日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画予測arXiv:2611.25553

TwoPass: ドラフト誘導によるロボット操作向け数ステップ動画予測

TwoPass: Draft-Guided Few-Step Video Prediction for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

自己生成ドラフトを条件に使う2段階のフレームワークで、ロボット操作の行動条件付き動画予測をわずか4回の関数評価で高品質に行う手法を提案。

詳しい要約

1. どんなもの?

- ロボットの行動条件付き video prediction フレームワーク「TwoPass」 - 行動から将来の視覚的結果を予測し、planning や policy evaluation に使う - flow-matching の目的関数を保ったまま self-conditioned に訓練・推論する - 推論時は draft を再利用する反復精錬で、video chunk あたり最小 4 NFE で予測 - Bridge と Language Table で評価した研究

2. 先行研究と比べてどこがすごい?

- 既存の predictor は各 future を noise から denoise し、自身の推定を活用しない - そのため manipulated objects の予測品質が制限され、多数の network calls を要する - TwoPass は self-generated draft を conditioning に使うことで予測品質を改善 - 4 NFE で state-of-the-art を達成し、既存手法の 50-59 calls を大幅に削減 - 訓練時も pretrained backbone を更新しつつ discrete な solver-query noise level をサンプル

3. 技術・手法の肝は?

- 標準の flow-matching 目的関数を維持した self-conditioned 訓練・推論 - Self-Generated Draft Training - 共有 network からの detached な clean-video estimate を同じ noisy state の conditioning として供給 - Refinement-Only Late Adapter - draft が存在する場合に専用の residual transformation を適用 - Draft-Reuse Iterative Refinement(推論) - 各 velocity prediction から solver update と次 draft の両方を得る - 訓練では discrete な solver-query noise level をサンプルし pretrained backbone を更新

4. どうやって有効だと検証した?

- Bridge と Language Table での実験 - 4 NFE で state-of-the-art の結果を達成 - 既存 predictor の 50-59 calls と比較して大幅に少ない関数評価で有効性を示す - 詳細な ablation や指標は要旨からは不明

5. 議論はある?

- 既存手法が自身の推定を使わない点を問題視し、draft 再利用で品質と効率を両立 - 4 NFE という少ない呼び出しで高性能を主張 - 限界・失敗ケース・計算コストの詳細な議論は要旨からは不明 - 一般化や他データセットでの挙動は要旨からは不明

6. 次に読むべき論文は?

- flow-matching を用いた video prediction / diffusion policy 系の研究 - action-conditioned video prediction の既存 predictor(要旨で比較対象として言及) - self-conditioning や draft-refinement を用いる生成モデル研究 - Bridge および Language Table を用いた robotic manipulation の予測・計画研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yijun Liu, Shijia Ge, Tongtong Feng, Xin Wang, Yuan Meng, Yuwei Liu, Zhi Wang, Wenwu Zhu

分類: cs.CV

原文アブストラクト

Action-conditioned video prediction lets robots anticipate the visual consequences of their actions for planning and policy evaluation. Existing predictors denoise each future from noise without using their own estimate of it, which limits the quality of the predicted future, in particular of the manipulated objects, and requires many network calls. We present TwoPass, a self-conditioned training-and-inference framework that keeps the standard flow-matching objective. Self-Generated Draft Training supplies a detached clean-video estimate from the shared network as conditioning at the same noisy state. A Refinement-Only Late Adapter applies a dedicated residual transformation when a draft is present. At inference, Draft-Reuse Iterative Refinement obtains both a solver update and the next draft from each velocity prediction, requiring as few as 4 function evaluations (NFE) per video chunk. Training samples discrete solver-query noise levels and updates the pretrained backbone. Extensive experiments on Bridge and Language Table show that TwoPass achieves state-of-the-art results with 4 NFE, far fewer than the 50-59 calls of existing predictors. Code: https://github.com/PlantPotatoOnMoon/TwoPass.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI