SoloQ：扩散语言模型免校准量化
用旋转归一化基实现数据无关的低比特权重激活量化。
为什么重要
为 dLLM 低比特部署提供无需校准数据的量化路径。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 SoloQ，一个面向扩散大语言模型的免校准量化框架。它将权重和激活映射到归一化旋转基，使边际分布更可预测，从而进行数据无关量化；方法结合结构化 K-RPBH rotation 与轻量重缩放校正，并支持 distribution-matched codebooks 和硬件原生 NVFP4。针对 block-diffusion 模型，SoloQ 还在 commit-time 量化 KV-cache，以压缩持久状态且不扰动正在去噪的块。论文可通过 arXiv 链接获取。
要点（AI 据原文整理，数字均已与原文核对）
- SoloQ combines a structured K-RPBH rotation with a lightweight rescaling correction for calibration-free quantization.
- Its predictable post-rotation distribution supports both distribution-matched codebooks and hardware-native NVFP4.
- For block-diffusion models, SoloQ applies commit-time KV-cache quantization to compress persistent states.
- Across LLaDA, Dream, Fast-dLLM v2 and Nemotron-Labs-Diffusion, SoloQ retains accuracy under 4-bit quantization.
- With NVFP4, SoloQ reduces peak memory by up to 2.61X and accelerates end-to-end inference by up to 2.24X.