disrouter.aiAI 情报台

disrouter.aiAI 情报台

模型发布重要量子位

MiniCPM-V 4.7 开源发布

35B-A3B MoE 可在手机端断网运行并优化解码速度。

为什么重要

为端侧多模态应用提供了可本地运行的开源模型选择。

阅读原文qbitai.com

AI 解读(根据原文生成)

面壁智能和 OpenBMB 开源 MiniCPM-V 4.7,包含 35B-A3B 与 1B 两个版本。35B-A3B 是总参数 35B、每次推理激活 3B 的 MoE 模型,据称约 3G 内存即可在 iOS、安卓设备流畅运行;1B 实际参数 1.3B,面向 OCR、数学和视频理解等小体积端侧场景。文章展示了 iPhone、iPad 本地断网及 API 下的图表理解、票据核对、停车规则推理和论文转 Markdown 示例,并提到使用前瞻专家调度优化端侧运行。

要点(AI 据原文整理,数字均已与原文核对)

  • 1B 实际参数1.3B,主打极小体积。
  • 优化之后,速度达到了每秒8-12个Token。
  • 35B模型在iPhone 17 Pro Max上的解码速度,在仅占用3G内存的情况下,能做到每秒13个token以上。

全部来源(1)

  1. [1]量子位

    MiniCPM-V 4.7 开源发布