TRACE：用于 MoE 语言模型 FP4 强化学习
用 rollout 引导的量化感知训练对齐训练与推理量化路径。
为什么重要
为 MoE LLM 的低精度 RL 训练提供了可复现的量化对齐思路。
阅读原文arxiv.org
AI 解读（根据原文生成）
论文提出 TRACE（Train-Rollout Quantization Alignment via Compact GuidancE），面向 MoE 语言模型强化学习训练的 FP4 量化框架。它针对现有 FP4 RL 方法分别优化训练与 rollout 路径、未直接缩小两者差异的问题，引入 rollout-guided quantization-aware training，用 rollout 侧量化结果指导训练侧 FP4 舍入决策，并通过缓存深层的尾数与 scale 信息降低存储和通信开销。作者在四个大规模 MoE 语言模型上评估了推理、代码和长程 RL 任务；论文可通过 arXiv、PDF 和 HF Papers 链接获取。
要点（AI 据原文整理，数字均已与原文核对）
- TRACE uses rollout-side quantization outcomes to guide training-side FP4 rounding decisions.
- TRACE selectively retains mantissa and scale information from deeper layers to reduce storage and communication overhead.
- TRACE enables joint FP4 weight/activation and FP4 KV-cache rollout with RL performance comparable to BF16 rollout.
