
ALoDLM:自适应循环扩散语言模型
用 token 自适应潜在循环为不同难度位置分配计算量。
为什么重要
为扩散语言模型缩小质量差距提供了可复现的计算分配思路。
阅读原文arxiv.org
AI 解读(根据原文生成)
论文提出 ALoDLM,用 token-adaptive latent recurrence 替代扩散语言模型中对所有未知位置统一计算深度的做法。在每个去噪步骤中,模型迭代细化潜在表示,并按 token 难度分配计算;可提交的 token 作为离散上下文反馈,未解决 token 继续保留并细化潜在状态。作者将 token 级计算计划建模为潜变量并推导条件 NELBO,在 1.7B 和 8B 参数规模训练。论文与代码链接已给出。
要点(AI 据原文整理,数字均已与原文核对)
- The authors train ALoDLM at 1.7B and 8B parameter scales.
- Across eleven benchmarks, ALoDLM outperforms all evaluated DLMs and the corresponding AR baselines in average benchmark score at both scales.
- ALoDLM retains fast parallel decoding under optimized inference engines.