disrouter.aiAI 情报台

disrouter.aiAI 情报台

图片:Hugging Face

论文Hugging Face Daily Papers

HeteroFold:跨家族 KV 缓存迁移

在冻结发送/接收模型下复用异构 LLM 的 KV 缓存。

为什么重要

可减少异构多智能体 LLM 共享上下文时的重复预填充开销。

阅读原文arxiv.org

AI 解读(根据原文生成)

论文提出 HeteroFold,用于异构多智能体 LLM 中的跨模型家族 KV 缓存无预填充迁移。方法保持发送端和接收端模型冻结,通过对齐模型结构、将发送端缓存映射到接收端空间并校准,以尽量保留接收端行为。实验显示其在六个迁移方向、四个长上下文基准和多数短上下文设置中取得最佳缓存迁移表现,并在多智能体基准上匹配文本通信。论文可通过 arXiv 与 Hugging Face Papers 访问,原文未说明代码或权重开放。

要点(AI 据原文整理,数字均已与原文核对)

  • HeteroFold keeps both the sender and receiver frozen.
  • Across six transfer directions, HeteroFold achieves the best cache-transfer performance on all four long-context benchmarks and most short-context settings.
  • It also matches text-based communication on the multi-agent benchmark.

全部来源(1)

  1. [1]Hugging Face Daily Papers(每日论文)

    HeteroFold:跨家族 KV 缓存迁移