MC-Sparse 缩小扩散 Transformer 稠密-稀疏注意力差距
提出免训练稀疏注意力框架，缓存元数据以复用后续去噪步骤。
为什么重要
为视频和 3D 生成中的长序列扩散 Transformer 提供可用的加速思路。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文分析了扩散 Transformer 长序列生成中稀疏注意力在高稀疏度下降低质量的三类原因：token 分组约束、交互选择不准，以及丢弃 token 导致的注意力贡献损失。作者提出 Meta-Cached Sparse Attention（MC-Sparse），免训练地选择单个 KV token，同时将相似 query 组织成适配 tile 的分组以提升 GPU 执行效率，并缓存 query 分组、基于精确注意力概率选择的 KV 索引和稠密/稀疏输出残差。代码已在 GitHub 提供。
要点（AI 据原文整理，数字均已与原文核对）
- Sparse attention is a primary approach to reducing the latency of diffusion transformers in long-sequence generation tasks, such as video and high-resolution 3D asset generation.
- MC-Sparse caches metadata comprising query groups, KV indices selected using exact attention probabilities, and residuals between dense and sparse attention outputs.
- Across video and 3D generation models, MC-Sparse achieves higher fidelity to dense-attention outputs and larger denoising speedups than existing sparse-attention baselines, without visible quality deg
