日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成/計画arXiv:2611.26389

ViDecide:動画拡散モデルに段階的な推論と計画を教える

ViDecide: Teaching Video Diffusion Models to Reason and Plan Step by Step

シェア:XThreadsFacebookLINEはてブBluesky

動画拡散モデルを『固定長クリップ生成』ではなく『意思決定の連鎖』として訓練し、状態遷移の予測と停止判断を学習させる枠組みを提案。失敗した決定を成功例へ修正するCFTも導入し、ロボット多段計画などで高い成功率を達成した。

詳しい要約

1. どんなもの?

- 動画生成モデルを『固定長クリップの生成』ではなく『意思決定の連鎖』として扱う decision-centric なフレームワーク ViDecide を提案する研究。 - モデルが state transition を因果的に予測し、いつ停止すべきかを自ら決定できるよう訓練する。 - 抽象ゲーム、planning タスク、新規の multi-step robot planning ベンチマークで評価。 - 映像生成モデルを visual world における信頼できる reasoner/planner として活用する可能性を示す。

2. 先行研究と比べてどこがすごい?

- 従来の video training paradigm は解を固定長クリップとして扱うため、multi-step reasoning/planning で物理・論理制約違反が頻発していた。 - 大規模 reasoning データや既存 diffusion RL 手法で訓練しても失敗が残ることを問題視。 - 提案手法は平均 strict success rate 83.8% を達成し、standard fine-tuning の 23.3%、最強の prior method の 67.8% を大きく上回る。 - より大きなパズルや未見レイアウトにも汎化する点が先行研究との差分。

3. 技術・手法の肝は?

- 解を固定長クリップではなく decision の連鎖として定式化する decision-centric framework。 - モデルに state transition の因果的予測と停止タイミングの決定を学習させる decision-focused training schedule を採用。 - Corrective Fine-tuning (CFT) を提案:失敗した decision の noise をモデル自身の成功した continuation へマッピングして修正する。 - CFT により policy-gradient optimization なしで安定した改善を実現する点が手法の肝。

4. どうやって有効だと検証した?

- 抽象ゲーム、planning タスク、新規の multi-step robot planning ベンチマークの3領域で評価。 - 平均 strict success rate で ViDecide 83.8%、standard fine-tuning 23.3%、最強の prior method 67.8% と比較。 - より大きなパズルや未見レイアウトへの汎化も検証。 - 詳細な実験設定・ベースライン構成は要旨からは不明。

5. 議論はある?

- 失敗の原因を『解を固定長クリップとして扱う従来の video training paradigm』に帰属する主張が中心。 - policy-gradient optimization を使わず CFT で安定改善できる点の一般性・限界についての議論は要旨からは不明。 - 大規模パズル・未見レイアウトへの汎化限界や、実ロボット環境での検証範囲は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及される standard fine-tuning および strongest prior method(具体的名称は要旨からは不明)。 - 既存の diffusion RL 手法(diffusion reinforcement learning)。 - 関連する video diffusion model による planning/reasoning 研究(具体名は要旨からは不明)。 - 同分野の定番として video generation / diffusion model の基盤研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaiwen Zhang, Yiming Gao, Zeqi Xiao, Xintao Wang, Pengfei Wan, Kun Gai, Xingang Pan

分類: cs.CV

原文アブストラクト

Current leading video generation models can synthesize highly realistic videos, while still frequently violating physical and logical constraints in multi-step reasoning and planning, even after training with large-scale reasoning data or existing diffusion RL methods. We attribute these failures to the conventional video training paradigm, which treats a solution as a fixed-length clip rather than a chain of decisions. We present ViDecide, a decision-centric framework that trains video diffusion models to predict state transitions causally and decide when to stop, with a decision-focused training schedule. We further propose Corrective Fine-tuning (CFT), which corrects failed decisions by mapping their noise to the model's own successful continuations, achieving stable improvement without policy-gradient optimization. Across abstract games, planning tasks, and a new benchmark of multi-step robot planning, ViDecide achieves an average strict success rate of 83.8%, far above 23.3% for standard fine-tuning and 67.8% for the strongest prior method, and generalizes to larger puzzles and unseen layouts. Our framework therefore unlocks greater potential for video generation models as reliable reasoners and planners in the visual world. Project page: https://kevin-thu.github.io/ViDecide.

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2川崎重工業のロボット外販を報道新製品・発表
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4丸文、RealManのロボットアームやヒューマノイドを国内販売提携・買収
  5. 5NVIDIA、SC26で科学研究向けAIエージェントとHPC基盤を発表新製品・発表

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI