disrouter.aiAI 情报台

disrouter.aiAI 情报台

图片:Hugging Face

论文Hugging Face Daily Papers

VisionWeave:MLLM 的弹性视觉表示编织

让多模态大模型端到端学习视觉 token 的粒度分配。

为什么重要

为降低 MLLM 视觉 token 成本提供了可复现的端到端方案。

阅读原文arxiv.org

AI 解读(根据原文生成)

论文提出 VisionWeave,将“弹性视觉表示编织”作为 MLLM 的原生能力,用于按内容自适应分配细粒度与粗粒度视觉表示。方法包含 gated spatial pooler 与 granularity router,并在 Qwen3.5-4B、Qwen3.8-27B 上通过自蒸馏验证。基于 Qwen3.8-27B 的实验显示其可在多个基准和部署场景中改善效率。代码已在 GitHub 提供。

要点(AI 据原文整理,数字均已与原文核对)

  • VisionWeave combines a gated spatial pooler and a granularity router.
  • On SGLang serving engine, the method achieves a 2.3x throughput gain while reducing mean TTFT by 54.4% and mean TPOT by 60.6%.

全部来源(1)

  1. [1]Hugging Face Daily Papers(每日论文)

    VisionWeave:MLLM 的弹性视觉表示编织