最近我看到一组数字,35B参数的多模态模型,能在3GB内存里跑,速度还有13个token每秒左右。这个组合第一眼很怪,因为手机内存越来越贵,模型却越做越大。它并不是把模型硬缩小,而是换了一套算法和调度方式。
这款模型叫MiniCPM-V 4.7,2026年10月13日由面壁智能和OpenBMB社区发布并开源。它有两个版本,35B-A3B是系列首个MoE模型,总参数35B,每个token只激活约3B;1B版本实际参数1.3B,给资源更紧的设备用,主打OCR、数学和视频理解。官方说它是首个能在端侧无损、流畅运行的开源MoE多模态大模型,但早期演示平台有输出长度上限,复杂问题可能答不完整。
真正的创新不在模型结构,而在调度、存储、生成、视觉几层怎么配合。MoE专家权重放在闪存,随机读会卡,所以它做了前瞻专家调度LES:相邻层输入特征相似,系统跨层预测下一层需要的专家,提前预取;预测只搬运排序,不改原路由,没猜中照常加载计算,因此不牺牲能力。它能提前备好80%以上专家,实机综合提速约5倍。
存储层做逐层混合精度量化,并重排成连续存储,少搬东西也让顺序读更顺。生成层用DSpark投机采样,草稿模型先提多个token,主模型批量核验,在M5 Mac测试中解码平均再提升约17%。视觉层在ViT内部做早期token压缩,4倍和16倍两档,16倍下MMBench从91.72降到90.87,OCRBench从91.20降到90.40,省算力几乎没拿精度换。
基准上,35B-A3B的MMBench 91.72,MMStar 80.67,MMMU 80.22,MathVista 88.00,Video-MME 76.40,LongVideoBench 68.90;OmniDocBench v1.6到94.24,CMMLU 90.21,τ2-Bench 84.65。34项基准中,它在通用视觉、STEM、OCR与图表、长视频等任务上领先同档Qwen3.6-35B-A3B,有些超过更大参数模型。
实测里,断网看拿破仑远征俄国行军图,它能识别零下30列氏度,换算成零下37.5摄氏度,定位1812年12月6日;家庭用电图表能做单位换算、能耗排序、账单解释和省电方案择优;小票记账能逐项录入、复核金额和优惠,结果和原图一致。停车合规五问全对,还能识别“当天未停车则无需间隔30分钟”的隐藏条件,1B版本把论文页转Markdown,标题、表格、公式LaTeX基本还原。
开发者这边有SRFT自回放微调,痛点是定制微调后新任务变强、通用能力退化。办法是微调前让模型自己回答一批通用prompt,经拒绝采样筛选,按Task:Replay=4:1混进任务数据,走标准SFT。标签必须是on-policy,来自模型自己的分布;消融中,自生成标签把退化压到1.58分,外部标签只能压到5.58分,跨四个模型遗忘降低80%到99%,定制成本接近普通监督微调。
产业上,IDC预计2026年中国新一代AI手机出货1.47亿台,同比增长31.6%,渗透率首次突破53%。可内存持续涨价,12GB成AI手机及格线,旗舰标配16GB,部分上探24GB;iPhone 17 Pro Max是12GB内存,35B-A3B约3GB就能跑,剩余空间可留给其他应用,旗舰能力有望下放中端。李大海说2026年是端侧AI规模化落地元年,面壁和清华的“密度定律”也认为模型能力密度约每3.5个月翻一番。
能不能跑起来,还要看生态,它支持iOS、安卓、鸿蒙,发布当天完成瑞芯微、后摩、Intel、AMD、Arm等平台Day-0适配,也通过FlagOS适配多款芯片。推理框架覆盖llama.cpp、Ollama、MLX、vLLM、SGLang,微调有LLaMA-Factory、SWIFT,量化有GGUF、AWQ、GPTQ、FP8。MiniCPM系列全球累计下载突破6000万次,截至2026年9月,口径有5000万和6000万之别,覆盖文本、视觉、语音。
把35B装进口袋,靠的不只是把模型做小,而是调度、量化、投机采样、视觉压缩和训练数据的系统配合。过去比芯片制程和算力,以后“模型+推理框架+硬件”的协同会越来越重要;3GB占用若能在真实中端机型稳定复现,端侧多模态门槛会明显降低,本地OCR、本地文档、离线问答等隐私场景可能先受益。但“端侧无损”的边界,还需要第三方多机型长期实测来验证。