
学习表示以指导像素扩散 Transformer
提出 Representation Guidance,用内部紧凑表示指导像素扩散生成。
为什么重要
为像素扩散 Transformer 提供了可复现的表示引导生成方法。
阅读原文arxiv.org
AI 解读(根据原文生成)
这篇论文研究视觉表示在像素扩散 Transformer 生成中的作用,指出更高的表示质量不必然带来更强生成效用,带专门像素解码器的架构分离也未必更适合生成。作者提出 Representation Guidance(RG),在普通 Transformer 架构中用低维瓶颈形成生成相关的紧凑内部表示,并通过其预测偏移修改 flow-matching 目标来指导解码生成。论文报告 RG 在 ImageNet 256x256、512x512 以及文生图评测上取得较好 FID、GenEval 和 DPG-Bench 结果。代码和项目页已给出。
要点(AI 据原文整理,数字均已与原文核对)
- RG-L/16 with only 459M parameters outperforms substantially larger pixel diffusion transformers.
- RG-XL/16 achieves an FID of 1.55.
- RG extends to text-to-image generation, achieving 0.89 on GenEval and 87.1 on DPG-Bench.