MiniCPM-V 4.7 开源发布
35B-A3B MoE 可在手机端断网运行并优化解码速度。
为什么重要
为端侧多模态应用提供了可本地运行的开源模型选择。
阅读原文qbitai.com
AI 解读(根据原文生成)
面壁智能和 OpenBMB 开源 MiniCPM-V 4.7,包含 35B-A3B 与 1B 两个版本。35B-A3B 是总参数 35B、每次推理激活 3B 的 MoE 模型,据称约 3G 内存即可在 iOS、安卓设备流畅运行;1B 实际参数 1.3B,面向 OCR、数学和视频理解等小体积端侧场景。文章展示了 iPhone、iPad 本地断网及 API 下的图表理解、票据核对、停车规则推理和论文转 Markdown 示例,并提到使用前瞻专家调度优化端侧运行。
要点(AI 据原文整理,数字均已与原文核对)
- 1B 实际参数1.3B,主打极小体积。
- 优化之后,速度达到了每秒8-12个Token。
- 35B模型在iPhone 17 Pro Max上的解码速度,在仅占用3G内存的情况下,能做到每秒13个token以上。