動画生成/効率化2026/9/28arXiv:2609.34606

WorldAttention：対話型動画ワールドモデル向けの効率的注意機構

WorldAttention: An Efficient Attention Architecture for Interactive Video World Models

対話型動画生成モデルで長期的な文脈を保ちつつ計算・メモリ効率を高めるため、ハイブリッド疎注意と階層的KVキャッシュを組み合わせた注意アーキテクチャを提案。

詳しい要約

1. どんなもの？

- テキスト条件付きの対話型ビデオ世界モデル向けの効率的なattentionアーキテクチャ。 - autoregressive diffusionのパラダイムを活用し、時間的に一貫した環境をシミュレートする。 - 低遅延・長時間生成を可能にすることを目的とする。 - 従来のsliding-window機構の限界（履歴文脈の犠牲）を克服する。 - 完全履歴キャッシュの計算・メモリ問題（attentionの二次複雑度、KV cacheの線形増大）に対処する。

2. 先行研究と比べてどこがすごい？

- 従来のsliding-window機構は計算量を抑えるが履歴文脈を犠牲にし、長距離対話能力を損なう。 - 完全履歴キャッシュは計算コストとGPUメモリ飽和が問題。 - WorldAttentionはこれらを両立し、効率と長距離対話能力を実現。 - VBench-LongとInterVBenchで従来のstate-of-the-artを上回る性能を達成。

3. 技術・手法の肝は？

- Hybrid Sparse Attention (HSA)：線形global attentionとhead-adaptive sparse attentionを統合。 - Hierarchical KV Cache (HKV)：履歴KVペアを意味的インデックス付きページとして多層メモリに組織化。 - 細粒度検索とGPU常駐の制御を可能にする。 - 専用カーネルにより理論的効率を実性能に変換。

4. どうやって有効だと検証した？

- VBench-LongとInterVBenchでの広範な実験。 - 被写体一貫性スコア：VBench-Longで0.9472、InterVBenchで0.9668。 - 従来のstate-of-the-art手法を一貫して上回ることを示した。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究：sliding-window機構、完全履歴キャッシュ、autoregressive diffusion。 - 関連手法：Hybrid Sparse Attention (HSA)、Hierarchical KV Cache (HKV)。 - 同分野の定番：VBench-Long、InterVBench。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zeyu Zhang, Jinyuan Mao, Dakai An, Wangbo Zhao, Hanfeng Lu, Jiasheng Tang, Yinghao Yu, Wei Wang, Bohan Zhuang

分類: cs.CV

原文アブストラクト

Leveraging the paradigm of autoregressive diffusion, text-conditioned interactive video world models aim to simulate temporally coherent environments guided by textual instructions. While enabling low-latency, long-duration generation is pivotal for embodied AI and simulation-based planning, current frameworks primarily rely on sliding-window mechanisms to bound computational complexity. However, this approach inherently sacrifices historical context, undermining the long-range interactive capabilities. Conversely, maintaining a full-history cache remains computationally prohibitive and memory-intensive: the quadratic complexity of attention leads to excessive computational overhead, while the linear growth of the KV cache inevitably leads to GPU memory saturation. To overcome these limitations, we propose WorldAttention, a system-oriented attention architecture that achieves high efficiency through the co-design of specialized attention kernels and hierarchical KV cache management. First, we introduce Hybrid Sparse Attention (HSA), which integrates linear global attention supplemented with head-adaptive sparse attention. Additionally, we design a Hierarchical KV Cache (HKV) that organizes historical KV pairs into semantically indexed pages across multi-tier memory, enabling fine-grained retrieval and controlled GPU residency. These two designs are supported by tailored kernels to effectively translate their theoretical efficiency into real-world performance. Extensive experiments on VBench-Long and InterVBench demonstrate that WorldAttention consistently surpasses prior state-of-the-art methods, achieving subject consistency scores of 0.9472 on VBench-Long and 0.9668 on InterVBench, respectively.

arXivで原文を読む →arXiv概要ページ

← 論文一覧