
VisionWeave:MLLM 的弹性视觉表示编织
让多模态大模型端到端学习视觉 token 的粒度分配。
为什么重要
为降低 MLLM 视觉 token 成本提供了可复现的端到端方案。
阅读原文arxiv.org
AI 解读(根据原文生成)
论文提出 VisionWeave,将“弹性视觉表示编织”作为 MLLM 的原生能力,用于按内容自适应分配细粒度与粗粒度视觉表示。方法包含 gated spatial pooler 与 granularity router,并在 Qwen3.5-4B、Qwen3.8-27B 上通过自蒸馏验证。基于 Qwen3.8-27B 的实验显示其可在多个基准和部署场景中改善效率。代码已在 GitHub 提供。
要点(AI 据原文整理,数字均已与原文核对)
- VisionWeave combines a gated spatial pooler and a granularity router.
- On SGLang serving engine, the method achieves a 2.3x throughput gain while reducing mean TTFT by 54.4% and mean TPOT by 60.6%.