VLA2026/9/15arXiv:2609.17414

SlotDiT: 物体中心表現を用いた拡散トランスフォーマー

SlotDiT: Object-Centric Representations for Diffusion Transformers

シーンを物体ごとのスロットに分解し、その潜在空間でテキスト条件付き拡散トランスフォーマーを動作させることで、動画生成品質を保ちつつロボットタスクの成功率を向上させた研究。

詳しい要約

1. どんなもの？

- テキスト条件付き拡散モデルによるロボット応用 - 既存は pixel-level や VAE-based latent を使用 - 意味構造がなく表現空間の影響は未解明 - SlotDiT の提案 - テキスト誘導 Diffusion Transformer (DiT) - slot-based object-centric latent 空間で動作 - 参照画像と言語指示から scene を object 単位 slot に分解 - 指示と観測 context を条件に未来 slot trajectory を自己回帰的に denoise - プロジェクトページ: https://slot-dit.github.io/

2. 先行研究と比べてどこがすごい？

- 既存の video 生成・ロボティクス向け拡散モデル - pixel-level または VAE-based latent に依存 - 明示的な意味構造を持たない - slot-based object-centric 表現の従来 - dynamics modeling や planning で成功 - 拡散ベース生成モデリングでは未探索 - SlotDiT の新規性 - slot を DiT の latent として初めて検討 - VAE-based や semantics-aligned と統一 DiT 枠組みで比較 - 生成品質を保ちつつタスク完了率を改善

3. 技術・手法の肝は？

- 入力: 参照画像と言語指示 - scene を object-centric slot に分解 - 各 slot が個別 entity を表現 - 条件付け - 言語指示と観測 scene context - 生成 - 未来 slot trajectory を自己回帰的に denoise - これにより scene dynamics を予測 - 比較設計 - 統一 DiT 枠組み内で slot-based を VAE-based や semantics-aligned と比較 - latent-space 設計を体系的に調査

4. どうやって有効だと検証した？

- 4 つの robotic dataset で実験 - 評価項目 - video 生成品質 - task-completion rate - 結果 - slot を DiT latent に使うと競争力のある生成品質 - 4 データセットでタスク完了率が一貫して改善 - コンパクト表現により VAE-based や semantics-aligned より計算効率が良い

5. 議論はある？

- 主張 - object-centric 構造はロボティクス環境の拡散生成モデリングに強力な inductive bias - 示唆 - latent 空間の設計が重要 - slot は意味構造と効率性を両立 - 限界や課題 - 要旨からは不明

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究 - VAE-based latent diffusion models - semantics-aligned latent spaces - object-centric slot representations (dynamics modeling, planning) - Diffusion Transformer (DiT) - 関連手法 - text-conditioned latent diffusion models - slot-based object-centric learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gjergj Plepi, Sven Behnke

分類: cs.CV, cs.RO

原文アブストラクト

Text-conditioned latent diffusion models perform strongly in video generation and are promising backbones for robotic applications. However, existing approaches rely on pixel-level or VAE-based latent representations that lack explicit semantic structure, leaving the impact of the representation space largely unexplored. Slot-based object-centric representations offer a structured alternative by decomposing scenes into object-level latents, or slots. While they have shown success in dynamics modeling and planning, they have not yet been explored for diffusion-based generative modeling. We introduce SlotDiT, a text-guided Diffusion Transformer (DiT) that operates in a slot-based latent space. Given a reference image and a language instruction, SlotDiT decomposes the scene into object-centric slots representing individual entities. Conditioned on the instruction and observed scene context, the model autoregressively denoises future slot trajectories to predict scene dynamics. To systematically investigate latent-space design for diffusion transformers, we compare slot-based representations against VAE-based and semantics-aligned alternatives within a unified DiT framework. Our experiments show that using slots as DiT latents yields competitive video generation quality while consistently improving task-completion rates across four robotic datasets. Furthermore, their compact representation provides a computationally efficient alternative to VAE-based and semantics-aligned latent spaces. Overall, our results demonstrate that object-centric structure is a powerful inductive bias for diffusion-based generative modeling in robotic environments. The project page is available at https://slot-dit.github.io/.

arXivで原文を読む →arXiv概要ページ