KV Cache专用SSD规格尚未定型
AI推理缓存正从服务器内部分层走向独立共享存储。
为什么重要
开发者和研究者可关注推理系统中缓存、内存与SSD的成本性能权衡。
阅读原文leiphone.com
AI 解读（根据原文生成）
文章讨论AI推理中KV Cache外置存储的产业趋势。华为推出OceanStor M900，英伟达推出CMX Context Memory Storage，用于对推理过程中可复用的KV Cache进行分层管理和存储，以减少重复计算。受访者认为，DRAM价格和供应压力使SSD成为替代部分内存容量的选择，但KV Cache负载、数据生命周期、耐写能力、容量和性能指标尚未收敛，面向AI推理的专用SSD还没有形成统一品类和标准。
要点（AI 据原文整理，数字均已与原文核对）
- KV Cache命中率从90%提高到95%，需要重新计算的部分就会从10%降到5%。
- 在一些方案中DRAM和SSD的替换比例甚至可能达到一比五、一比十。
- 按相同容量计算，DRAM与企业级SSD的成本可以相差数十倍。
- 相关方案最初对SSD耐写能力的要求大约是3 DWPD，后来又提高到9 DWPD。
- 行业形成较统一的产品共识可能还需要6至12个月。
- 即使标准确定，后续产品开发、验证和优化还可能再花约1年。
