
Qwen3.8-27B-Coder390 模型卡
在 Qwen3.8-27B 基础上经多轮 SFT 与 RLOO 后训练。
为什么重要
为多模态推理模型提供多种量化形态和推测解码选项。
阅读原文huggingface.co
AI 解读(根据原文生成)
该 Hugging Face 模型卡发布 nerkyor/Qwen3.8-27B-Coder390-EfficientThink-Opus5.5-GPT6Astra-Grok4.7-DSV4Pro-K3-SFT-RLOO-MTP-DFlash2。模型基于 Qwen3.8-27B-EfficientThink-SFT-SimPO-DFlash2,经多轮 SFT 和 RLOO 后训练,目标是减少原模型已有答案后仍持续推导直至 94K 上限的问题。仓库提供 BF16、FP8、NVFP4、INT8、INT4、GGUF 等多个 safetensors/量化版本,支持文本与图像/视频多模态,并标注可在 SGLang 加载,FP8 包也在 vLLM 上做过 smoke test。许可证为 apache-2.0,Hugging Face 链接已给出且无需申请访问。
要点(AI 据原文整理,数字均已与原文核对)
- This repository provides five safetensors tiers, BF16, static FP8 Block128, NVFP4 W4A16, NVFP4 W4A4, and NVFP4 W4A4-W8A8 (mixed precision).
- It also has NInfer W4A4 / W4A4-W8A8, INT8 W8A8, INT4 W4A16, and GGUF Q2 / Q3 / Q4 LynnStyle, Q6_K, and Q8_0.
- Far fewer 94K truncations: under the same protocol, 4 → 1 on GPQA and 13 → 3 on LCB.
- No regression on any suite: GPQA 178/198, MMLU 450/500, LCB 90/100 (static FP8), vs. 177 / 444 / 83 for the original FP8.
- Lossless quantization: GPQA and LCB are identical across BF16, dynamic FP8, and static FP8.
- Two speculative-decoding options: about 180 tok/s per request with DFlash2 and 91 tok/s with MTP, vs. about 46 tok/s without speculation.