disrouter.aiAI 情报台

disrouter.aiAI 情报台

图片:Hugging Face

论文Hugging Face Daily Papers

ALoDLM:自适应循环扩散语言模型

用 token 自适应潜在循环为不同难度位置分配计算量。

为什么重要

为扩散语言模型缩小质量差距提供了可复现的计算分配思路。

阅读原文arxiv.org

AI 解读(根据原文生成)

论文提出 ALoDLM,用 token-adaptive latent recurrence 替代扩散语言模型中对所有未知位置统一计算深度的做法。在每个去噪步骤中,模型迭代细化潜在表示,并按 token 难度分配计算;可提交的 token 作为离散上下文反馈,未解决 token 继续保留并细化潜在状态。作者将 token 级计算计划建模为潜变量并推导条件 NELBO,在 1.7B 和 8B 参数规模训练。论文与代码链接已给出。

要点(AI 据原文整理,数字均已与原文核对)

  • The authors train ALoDLM at 1.7B and 8B parameter scales.
  • Across eleven benchmarks, ALoDLM outperforms all evaluated DLMs and the corresponding AR baselines in average benchmark score at both scales.
  • ALoDLM retains fast parallel decoding under optimized inference engines.

全部来源(1)

  1. [1]Hugging Face Daily Papers(每日论文)

    ALoDLM:自适应循环扩散语言模型