ビデオ生成/スパースアテンション2026/8/19arXiv:2608.18484

サポートを分割し、残差を再構成する：ビデオ生成とワールドモデルのための学習不要スパースアテンション

Partition the Support, Reconstruct the Residual: Training-Free Sparse Attention for Video Generation and World Models

ビデオ生成やワールドモデルのトランスフォーマーを高速化するため、学習不要のブロックスパースアテンション手法SparsePRを提案。応答結合分割とプローブフィット残差再構成を組み合わせ、アテンション再構成誤差を低減しつつ、実行ペア密度22-26%で1.48-2.61倍の高速化を達成。

詳しい要約

1. どんなもの？

Training-free block-sparse attention を高速化する手法 SparsePR を提案。ビデオ生成・世界モデルの transformer において、クエリのブロック分割と残差再構成を組み合わせ、実行ペア密度を下げつつ注意再構成誤差を低減する。

2. 先行研究と比べてどこがすごい？

従来の training-free block-sparse attention は行方向の注意集中に基づくが、実行可能なスパース演算子を特定せず、クエリ間のサポート重複や softmax 後の誤差を考慮しない。SparsePR は分割形状がプールされたサポートと残差の予測可能性に影響することを示し、応答結合分割とプローブ適合残差再構成を導入。

3. 技術・手法の肝は？

SparsePR は Response-Coupled Partitioning と Probe-Fitted Residual Reconstruction を組み合わせる。サンプリングされたクエリのキー応答からペアの K/V グループを作り、その重心がクエリ応答座標を誘導してルーティングを共有。少数の正確なクエリ行で、プローブ残差で観測された出力部分空間内のスパース出力からのアフィン補正を較正する。

4. どうやって有効だと検証した？

4つの異なるビデオ生成・世界モデルで評価。SparsePR は注意再構成誤差を一貫して低減。アブレーションでプローブ適合が誤差低減の大部分を占め、応答結合分割はハードドロップ誤差を下げ、有限プローブ予算下での再構成を改善。生成品質を維持しつつ、実行ペア密度 22.0-26.0% で 1.48x-2.61x のエンドツーエンド高速化を達成。

5. 議論はある？

要旨からは不明。ただし、プローブ適合が主要な効果を持つ一方、応答結合分割の役割や、異なるモデルでの汎用性、プローブ予算の影響などが議論の余地がある。

6. 次に読むべき論文は？

要旨で参照されている関連研究は明示されていないが、training-free block-sparse attention の基礎となる手法や、ビデオ transformer の高速化に関する研究が考えられる。具体的には、Sparse Attention や Block-Sparse Attention の既存研究、およびビデオ生成モデルや World Models のアーキテクチャに関する論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pardis Taghavi, Reza Langari, Gaurav Pandey

分類: cs.CV, cs.AI, cs.LG

原文アブストラクト

Training-free block-sparse attention can accelerate video transformers, but row-wise attention concentration does not by itself specify an executable sparse operator. Queries sharing a block route may have poorly overlapping supports, while retained attention mass alone does not determine the post-softmax error from skipped interactions. We show that partition geometry affects both pooled support and the predictability of the remaining residual from the sparse output. We introduce SparsePR, which combines Response-Coupled Partitioning with Probe-Fitted Residual Reconstruction. Sampled-query key responses form paired K/V groups, whose centroids induce query-response coordinates for shared routing. A small set of exact query rows then calibrates a call-specific affine correction from the sparse output within the output subspace observed in the probe residuals. Across four heterogeneous video generation and world models, SparsePR consistently reduces attention-reconstruction error. Ablations show that probe fitting accounts for most of this reduction, while response-coupled partitioning lowers hard-drop error and improves reconstruction under a finite probe budget. SparsePR preserves generation quality at 22.0-26.0% realized executed-pair density while achieving 1.48x-2.61x end-to-end speedups. Project page: https://pardistaghavi.github.io/SparsePR-website/

arXivで原文を読む →arXiv概要ページ

← 論文一覧