一个 1.2 公斤的小方盒,边长 15 厘米,插家里普通墙上的插座,能跑千亿参数的大模型。
这不是概念图。英伟达已经把它摆在货架上了。
更刺激的是,10 月 2 日它刚出了一个便宜版本:4999 美元,标称能跑约 1000 亿参数的模型。
先别激动。听完下面这几笔账,你会改变想法——但改变的方式可能和你以为的不一样。
先说清楚它是什么这台机器叫 DGX Spark,长得像个加厚的路由器。
它不跑 Windows。装的是 DGX OS,一个基于 Ubuntu 的 Linux 系统,里面预置了英伟达整套 AI 软件栈。你买回家不是拿来办公、剪视频、打游戏的,它是一台专门干 AI 活的工作站。
价格呢?128GB 顶配版在国内电商平台标价接近 5 万,历史最低也要 4 万。10 月 2 日新发布的 64GB 版本,4999 美元,10 月 23 日开卖,而且只通过几家合作厂商渠道走。
听到这你可能想关页面了。别急,真正有意思的部分不在价格上。
为什么偏偏是「内存」这件事你有没有想过,为什么大模型非得待在数据中心?
不是因为算力不够,是因为装不下。
一个 700 亿参数的模型,8 位量化之后光权重就要占 70GB 左右。而现在最强的消费级显卡显存是 32GB,工作站级的也才 96GB。装不下,就只能切碎了往云端送。
DGX Spark 的解法很直接:把 CPU 和 GPU 封装在同一块芯片上,共享同一个 128GB 内存池。没有独立的显存,全是一整块。
这个设计看着平常,效果很猛——单台机器能做 2000 亿参数模型的推理、700 亿参数模型的微调;两台用 200Gbps 的网口连起来,能摸到 4000 亿。
128GB 版本的价格今年一路在涨,2 月从 3999 涨到 4699 美元,10 月又到了约 6950 美元。原因不是英伟达黑心,是全球内存缺货。64GB 版本就是在这个背景下推出来的降档款。
泼一盆冷水:它其实挺慢内存够大,不代表跑得快。
生成每个 token,本质上要把模型权重从内存里整个读一遍。所以真正决定快慢的是带宽,不是容量。
DGX Spark 的内存带宽是 273 GB/s。听起来不小?数据中心那张 H200 是 4800 GB/s,大概是它的 17 倍。
再看个更扎心的对比。苹果 Mac Studio M4 Max 卖 1999 美元,内存带宽 410 到 546 GB/s,生成 token 反而比这台 4 万多块的机器快。M3 Ultra 更是做到 819 GB/s、最高 512GB 内存。
所以如果你只问「谁出字更快」,答案是苹果,而且便宜一半以上。
Spark 真正强的地方在另一头:处理你输入的长提示更快(有评测说快约 3.8 倍),加上原生 CUDA 生态,做模型微调、训练、跑那些为英伟达显卡写的工具链,它才是主场。
真正的变化不是快,是归属聊了半天参数,说点跟你有关系的。
这台机器最大的意义,不是让个人拥有超算。是它把一件原本只能「租」的东西,变成了可以「买」的东西。
以前你用大模型,本质是租别人的算力:联网、上传、按量付费、价格说涨就涨。今年下半年国产模型的调价,你应该已经体会过一次了。
本地跑的逻辑完全不同:
断网也能用,飞机上、山里、家里断网都不影响数据不出设备,合同、病历、财务表这种东西你敢往里丢不烧 token,也就没有「这个月又超支了」这回事今年还有个配套趋势在推这件事:模型量化技术进步很快,已经有人把 1800 亿参数的开源模型压到每个权重 2.39 bit、92GB 大小,单台 DGX Spark 就能跑,还保留 95.5% 的能力。
换句话说,同样的硬件,能装下的模型在变强。
普通人现在上得了桌吗买这台机器?绝大多数人不需要。
给你一个很简单的判断标准:算算你每月在 AI 订阅和 API 上花多少钱。
一个月花 200 块,5 万块回本要 20 多年,别想了。一个月花 2000 以上,两三年回本,那才值得认真考虑。
但不上这台机器,不代表你上不了本地 AI 这张桌。
现在几千块就能起步:一台内存 16GB 的 Mac mini 或者装了独立显卡的普通台式机,装个 Ollama 或者 LM Studio,跑 70 亿到 300 亿参数的开源模型已经够用了。写文档、总结长文、翻译、代码补全、私人问答,这些活本地模型做得不比云端差多少。
具体到谁适合什么:
只是想省点订阅费——别买硬件。现在的免费额度够你用,本地跑 7B 模型当个补充就行。
手里有不能外传的资料——值得试本地方案。先花几千块配台机器,跑通了再考虑升级。
做开发、要微调模型——这才是 DGX Spark 的目标用户。你要的是 CUDA 环境和能塞下大模型的内存,多花的钱买的是不用来回折腾的时间。
想尝鲜的极客——等等看。它是第一代产品,新芯片的驱动和固件通常要几个月才磨顺,让第一批人先踩坑。
一句实话今年 AI 圈有个挺明显的转向:大家不再只比谁的模型分数高,开始比谁能把模型塞进更小的盒子里,塞得更便宜。
手机能跑 300 亿参数了,桌上的小盒子能跑千亿了,开源模型还在被压得越来越小。
这条线往下走,终点的样子大概是:AI 不再是一项你按月付费的服务,而是你家的一件电器。插上电就是你的,不联网也能用,不用看谁的定价脸色。
四万块一台的机器不是给普通人准备的。但它指的方向,确实是在把这件事往普通人这边推。
你每个月在 AI 上大概花多少钱?留言聊聊。