disrouter.aiAI 情报台

disrouter.aiAI 情报台

图片:Hugging Face

论文Hugging Face Daily Papers

学习表示以指导像素扩散 Transformer

提出 Representation Guidance,用内部紧凑表示指导像素扩散生成。

为什么重要

为像素扩散 Transformer 提供了可复现的表示引导生成方法。

阅读原文arxiv.org

AI 解读(根据原文生成)

这篇论文研究视觉表示在像素扩散 Transformer 生成中的作用,指出更高的表示质量不必然带来更强生成效用,带专门像素解码器的架构分离也未必更适合生成。作者提出 Representation Guidance(RG),在普通 Transformer 架构中用低维瓶颈形成生成相关的紧凑内部表示,并通过其预测偏移修改 flow-matching 目标来指导解码生成。论文报告 RG 在 ImageNet 256x256、512x512 以及文生图评测上取得较好 FID、GenEval 和 DPG-Bench 结果。代码和项目页已给出。

要点(AI 据原文整理,数字均已与原文核对)

  • RG-L/16 with only 459M parameters outperforms substantially larger pixel diffusion transformers.
  • RG-XL/16 achieves an FID of 1.55.
  • RG extends to text-to-image generation, achieving 0.89 on GenEval and 87.1 on DPG-Bench.

全部来源(1)

  1. [1]Hugging Face Daily Papers(每日论文)

    学习表示以指导像素扩散 Transformer