昨天开源的MiniCPM5-2B，干了一件反直觉的事：2B参数，在Artificial Analysis榜单拿下4B以下开源模型全球第一，直接打赢12B的谷歌Gemma 4。我照着官方部署文档，在一台三年前的旧笔记本上把它跑了起来——顺手把“本地跑AI”这笔账彻底算清楚了。结论先说：电费一年不到100块，比一次Claude的API充值还便宜。
2B凭什么打赢12B？先看硬数据。Artificial Analysis综合23分，4B以下开源第一；智能体能力Agentic Index拿到20分——同级模型普遍不到10分，它是别人两倍。34项基准评测的平均分，超过4B档所有对手。
更难得的是开源诚意：完整训练配方、RL框架、4大数据集全部公开——行业里管这叫L4级真开源。以前很多“开源”只放权重，训练过程是黑箱；这次连菜谱都给你，理论上你能复现它。
这背后是行业风向变了：以前拼参数规模，现在拼“智能密度”。同样回答一个问题，2B消耗的算力是12B的六分之一，效果还更好。省下来的每一分算力，都是电费、显存，和你电脑风扇的噪音。
端侧全家桶：从0元到6999元
MiniCPM5-2B只是最近端侧爆发的一个切片。我盘了一下最近一个月能“在自己设备上跑AI”的方案：混元Hy4轻量版，把1.5TB的旗舰模型压缩到214GB，4090笔记本配四卡A4000就能跑，速度1.02 token/s——慢，但真能跑；苹果Mac mini M6，6999元，官方数据70B参数模型本地45 token/s以上，2纳米芯片，AI性能是M4版的4倍；华为麒麟9050 Pro，端侧300B总参只激活20B的全模态架构，Mate XT 2首发；讯飞星火X2.5同步开源两款轻量化端侧模型，支持百万级上下文。
方案
参考价
能跑什么
速度/体验
旧笔记本（16G内存）
0元（闲置利用）
MiniCPM5-2B等2B-4B小模型
够日常问答、总结
Mac mini M6
6999元
70B级旗舰模型
45+ token/s，流畅
4090笔记本+四卡A4000
约2-3万
Hy4轻量版（214GB）
1.02 token/s，发烧友向
云端API（对照）
按量付费
全部旗舰模型
最快，数据在云上

这张表怎么用？一句话：只想体验，旧电脑装个小模型，0元入门；想要旗舰能力且断网可用，Mac mini M6一步到位；真发烧友再上显卡机。
顺便说说真机体验。一台三年前、16G内存的老笔记本，装完运行环境拉下模型，全程不到20分钟。跑起来之后风扇确实转起来了，但它真的答上来了——日常问答、总结一段会议纪要、改改文案，流畅够用；让它写复杂代码就开始露怯，这是2B的合理边界。整个过程不联网，数据一步都没出过这台机器。
为什么端侧偏偏在这个时间点集体爆发？两个前提刚好凑齐了：一是训练方法进化，从堆参数转向拼工程——面壁2B打赢12B、智谱GLM-5.3基座不变靠后训练把编程能力提升五成，都是同一个逻辑；二是推理成本被打到地板——国家数据局口径，6月我们日均词元调用量已接近175万亿，全球第一，开源模型处理的占比从1月的34%涨到6月的65%。量起来了，把计算挪回用户自己的设备，就成了所有厂商的新战场。
一笔账：云端方便，本地省钱
重度用户的账最扎心。按Hy4输出18元/百万token、每天100万token、一年300天算，云端API约5400元。同样的量搬到本地：Mac mini M6整机6999元，按三年折旧一年约2300元；电费按每天8小时、整机约50瓦算，一年不到100块——第二年起就是纯赚。
轻度用户反过来算：Qwen3.8-Flash云端输入才1元/百万token，一个月用不了几块钱，真没必要为省电费专门买台机器。本地真正不可替代的是两样东西：数据不出门——合同、病历、聊天记录这类隐私材料，本地跑才敢喂给AI；断网可用——高铁上、机房里、网络抽风的深夜，云端的AI说没就没。
冷水也得泼三盆端侧不是万能的。第一，2B模型能力有上限：日常问答、简单总结够用，复杂推理和长文档分析还是云端旗舰强——榜单23分和旗舰的五六十分，差距是真实存在的。第二，量化压缩有损，214GB的Hy4轻量版效果比1.5TB原版掉了一两分。第三，速度焦虑：1.02 token/s意味着等它回一句话要几分钟，急性子慎入。所以我的建议是混合打法：隐私和日常交给本地，硬骨头扔给云端。
三条实在建议第一，家里有闲置电脑的，先花10分钟装个Ollama，拉个2B-4B小模型跑跑看，0成本体验本地AI，跑不动再卸载也不亏。第二，想入手设备的，Mac mini M6是6999元档唯一能流畅跑70B的选择，比攒显卡机省心得多的多。第三，这张设备清单建议收藏，双11降价的时候翻出来对一遍。
你的旧电脑是什么配置？评论区报一下，我帮你看看能跑多大的模型。想看“Ollama从零安装保姆教程”的，评论区扣1，下期安排。
（数据来源：智东西、21世纪经济报道9/9，腾讯混元官方9/2，苹果官方，华为官方9/8，Artificial Analysis榜单。）