日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

週刊ニュースレター購読
VLAarXiv:2609.28339

未来予測を超えて:ロボット制御のための生成的適応としてのデノイジング

Beyond Future Prediction: Denoising as Generative Adaptation for Robot Control

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済み生成DiTを制御に適応させる際、未来の視覚予測は不要であり、現在の観測をデノイズする軌跡そのものが制御への有効なインターフェースとなることを示し、学習効率と性能を両立する手法NowWAMを提案した。

詳しい要約

1. どんなもの?

- 事前学習済み generative Diffusion Transformer (DiT) をロボット制御に適応させる手法 NowWAM を提案する研究。 - 未来の視覚予測を介さず、現在の観測を denoise しつつ同じ視覚ストリームから robot actions を予測する future-target-free な co-training 定式化。 - 生成目的と action-facing 表現を denoising trajectory 全体で直接結合する点が特徴。

2. 先行研究と比べてどこがすごい?

- 既存の robot policies は generative prior の転移を future visual prediction で実現するのが一般的だった。 - 本研究は future target が本質的に必要かを問い直し、past/future の視覚ターゲットが同等性能であることを制御条件下で示す。 - クリーンな endpoint のみに制限すると robustness が大きく低下し、denoising trajectory が制御への有効なインターフェースだと示唆。 - LIBERO-Plus で future-target co-training baseline を 6.1 点上回り、視覚トークン半減・step time 1.8x 高速化を達成。

3. 技術・手法の肝は?

- 事前学習済み generative DiT を backbone とし、現在観測の denoising と action 予測を同一視覚ストリームで co-training する。 - future target を別途用意せず、denoising trajectory 全体を通じて生成目的と action-facing 表現を結合。 - FLUX2-Klein や純粋な text-to-image の Z-Image など複数 backbone で適用可能。 - 視覚トークンを 784 から 392 に削減し、step time を 2.85 s から 1.63 s に短縮。

4. どうやって有効だと検証した?

- LIBERO-Plus ベンチマークで評価。 - FLUX2-Klein で 87.7%、future-target co-training baseline を 6.1 点上回る。 - 純粋な text-to-image backbone の Z-Image でも 87.8% に到達。 - 制御条件下で past/future 視覚ターゲットの比較、clean endpoint 制限の影響を検証。

5. 議論はある?

- future visual prediction は generative adaptation に必須ではなく、denoising trajectory が制御への有効なインターフェースである可能性を示す。 - 強い制御適応は video generation や image-editing backbone に限定されないことを示唆。 - ただし要旨からは、失敗事例や限界、一般化範囲についての詳細な議論は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている future-target co-training baseline。 - 事前学習済み generative Diffusion Transformer (DiT) を用いた robot policies の関連研究。 - FLUX2-Klein、Z-Image などの generative backbone。 - LIBERO-Plus ベンチマーク。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zanyi Wang, Yuheng Lei, Dengyang Jiang, Ping Luo, Mengdi Wang, Zhixuan Liang, Shilong Liu

分類: cs.RO

原文アブストラクト

Pretrained generative Diffusion Transformers (DiTs) capture rich pixel-level visual and language-conditioned structure through large-scale image and video generation training. A growing line of robot policies builds on this generative prior, but how it should be transferred to control remains unclear, and existing approaches commonly instantiate this transfer through future visual prediction. We ask a more basic question: what a pretrained generative DiT actually contributes to action learning, and how this prior should be adapted for control. We introduce NowWAM, a future-target-free co-training formulation that denoises the current observation and predicts robot actions from the same visual stream, directly coupling the native generative objective to the action-facing representation across the denoising trajectory. Under matched controlled settings, past and future visual targets perform comparably, while restricting training to the clean endpoint substantially reduces robustness, suggesting that a separate future target is not essential for generative adaptation, while the denoising trajectory remains an effective interface for control. On LIBERO-Plus, NowWAM reaches 87.7% with FLUX2-Klein, improving over the future-target co-training baseline by 6.1 points while halving training visual tokens (784 to 392) and reducing step time from 2.85 s to 1.63 s, a 1.8x speedup. With the pure text-to-image Z-Image backbone, NowWAM further reaches 87.8%, showing that strong control adaptation is not tied to video generation or image-editing backbones.

関連論文

PR本紙発行元 EmplifAI