字节分析DeepSeek相位敏感性
分块KV Cache压缩会引入与步长对应的检索周期波动。
为什么重要
提示开发者评估长上下文模型时需关注信息位置与KV Cache压缩影响。
阅读原文qbitai.com
AI 解读（根据原文生成）
量子位报道字节Seed团队研究了DeepSeek-V4系列“时强时弱”的原因。研究发现，在代码补全和128K长上下文“大海捞针”检索中，仅改变无关填充Token长度或目标信息相对压缩窗口的位置，就会导致准确率周期性起伏。团队将这种现象称为Phase Sensitivity，并把它与DeepSeek-V4采用的分块KV Cache压缩相关联；自训Qwen3-0.6B架构模型的对照实验也显示，分块压缩模型会随压缩步长出现周期变化，而全注意力基线没有同等程度现象。原文未给出论文或代码链接。
要点（AI 据原文整理，数字均已与原文核对）
- DeepSeek-V4系列模型的检索准确率最高能拉开40.2个百分点。
- 研究人员从DeepSeek-V4的官方推理代码中截取了一段FP8量化函数，让模型补全最后一个Token。
- 在论文测试的16种填充长度中，当长度模4的余数为0或1时，模型倾向于错误答案32；余数为2或3时，则倾向于正确答案8。
- 研究人员构造了一段长达128K Token的上下文，里面包含约1.6万个键值对。
- DeepSeek-V4-Flash-Base在不同位置之间的最大准确率差距达到40.2个百分点，DeepSeek-V4-Pro-Base也达到34.8个百分点。
- DeepSeek-V4-Flash-0731的差距缩小到19.1个百分点，DeepSeek-V4-Pro-0813缩小到14.8个百分点，DeepSeek-V4.1-Flash-0910进一步降至6.1个百分点。
- 在代码补全任务中，等号数量除以 4 的余数为 0 或 1 时错误率高达 71.3%；余数为 2 或 3 时正确率高达 91.5%。
- 研究人员构造了一段长达 128K Token 的上下文，里面包含约 1.6 万个键值对。
进展
量子位：字节分析DeepSeek相位敏感性
雷峰网：字节论文揭示 DeepSeek 相位敏感缺陷
全部来源（2）
- 字节论文揭示 DeepSeek 相位敏感缺陷
文章介绍字节团队论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》，指出 DeepSeek V4 系列在采用分块 KV Cache 压缩后，会出现“相位敏感性”：Token 落在不同压缩槽位时被保留的权重不同，导致同一任务因前缀空格或装饰字符变化而答错。论文通过代码补全和 128K Token 大海捞针测试验证了周期性弱点，并用 Qwen3-0.6B 架构对比不同压缩机制。论文链接已在文中给出，未提及代码或权重开放。
