众力资讯网

1250亿参数大模型,塞进一张12G显存的游戏显卡

> 今天 Hacker News 上最热闹的三条,其实都在讲同一件事:藏。有人把 1250 亿参数的大模型硬塞进了一张游戏显卡;有人发现 Apple 把一堆 AI 模型悄悄留在你硬盘里、连开关都不给;还有人发现 Google 数据中心的用水量只藏了一层——鼠标框一下、按个 Ctrl+C,就全露了。
1250 亿参数,跑在一张游戏显卡上来源:github.com/Niko1221/Strata
项目叫 Strata,跑的是 Qwen3.8-Flash-Next,一个 1250 亿参数的模型——按常理,这是要一柜子服务器才伺候得起的东西。
它是个 MoE:模型内部有 24,576 个「专家」,但每生成一个词,只挑其中 10 个干活。Strata 的整个思路就建立在这个前提上:既然每次只用一小撮专家,那就别指望一张卡全装下,干脆把活儿摊到整台电脑上。显卡只留最常被点名的几千个专家(热菜放灶台),内存装下全部(其余囤在储物间),CPU 顺手处理剩下的,SSD 里存一张大查找表。
再叠一层「先猜后验」:一个小助手先猜接下来几个词,大模型一次性全部验完,答案不变,速度 1.6–1.8 倍。长 prompt 则按最多 8192 token 一块一块地读,吞吐超过 1000 token/s。
门槛写得挺实在:显存 12 GB 起步,内存 32 GB,磁盘留 80 GB,模型本身下载约 70 GB。跑起来的速度:RTX 5070(12 GB)用 Q2_0 约 94 token/s,RTX 3090(24 GB)约 100–140 token/s;HN 上有位老哥拿 RTX 4090 + 128 GB DDR5 + 7950X3D 实测到了 124 token/s。
代价也很直白:为了塞得下,量化压得相当狠(Q2 / IQ2 一档)。有人拿 50 张图做了个视觉定位 benchmark,跟 llama.cpp 一比,Strata 的中位误差 154.8 像素、平均 168.8 像素,明显更差。评论区于是分成两派:一派说「速度是真的,但精度没被震到」,另一派提醒低比特量化会悄悄伤质量。一句话总结——省下来的显存,账单早晚会在别的地方寄来。
macOS 27 没有 AI 总开关,但有人写了个「卸载器」来源:github.com/omlahore/RemoveMacAI
macOS 27 干了一件让不少人血压升高的事:取消了 Apple Intelligence 的单一总开关。更妙的是,就算你把各项功能都关了,模型文件依然赖在硬盘上不走。
RemoveMacAI 因此登场,干三件事:关功能、删模型、堵住重新下载。
被关掉的功能清单很长:Siri(含「嘿 Siri」和菜单栏图标)、Writing Tools、Genmoji、Image Playground、ChatGPT 扩展、邮件 / 信息 / Safari / 备忘录 / 通知里的摘要、邮件智能回复、行内文字预测、空间照片、照片清理,以及 Xcode 的预测式代码补全。被删掉的模型则包括 Apple Intelligence 基础模型,以及图像生成、Genmoji、空间照片、照片清理、Xcode 补全各自的模型。
手法也值得说一句:它靠一个配置描述文件套用 Apple 自己的限制键,模型通过 Apple 的 asset service 删除,SIP 保持开启,不动 `/System` 下任何文件;再把每个被删模型的下载重定向到一个关着的本地端口,于是系统想下也下不回来。全程可逆——删掉描述文件就恢复原样,需要时 macOS 会自己重新下载。
HN 的反应挺有代表性。有人说「这不就是 macOS 版的 O&O ShutUp10 吗」;有人吐槽 iOS 上连个开关都没有,Apple 的对手们早就做了全局 AI 开关;也有人反对这么做——这些模型就在本地、体积也不算大,删了图啥。不过最扎心的一句评论大概是:以前是装完 Windows 先跑一堆去捆绑脚本,现在轮到 macOS 了。
鼠标框一下、Ctrl+C,就读出了 Google 数据中心的用水量来源:1011now.com/2026/09/30/more-questions-than-answers-about-lincolns-google-data-center-water-electricity-usage/
内布拉斯加州要求数据中心每年向州里的水、能源与环境部门交报告。Google 在 Lincoln 的数据中心(注册名 Agate LLC)把用水用电量申报为商业秘密,要求打码处理。
问题是,这个码打得很敷衍:用鼠标把 PDF 里的黑框一框、复制、粘到别处,数字就出来了——峰值用电 52.65 兆瓦,一年用水 13.299 megagallons(约 1329.9 万加仑)。
1329.9 万加仑大约相当于 20 个奥运标准泳池,还不到 Lincoln 市 9 月 29 日一天用水量的一半。截至 9 月 30 日提交报告的 6 个数据中心,去年一共用水 7.65 亿加仑,够填 1159.93 个泳池;其中用水最多的其实是 Google 在 Papillion 的那个(注册名 Fireball Group LLC),一年 5.4788 亿加仑。同样的「手滑」,还顺带把 Google 数据中心 2025 年能拿多少退税也抖了出来。
HN 上的争论比数据本身还热闹。有人冷静指出 1300 万加仑其实算不上多,别动不动就「数据中心喝光了我们的水」;也有人提醒,许可量 ≠ 实际用水量,这两个数经常被混为一谈。但无论如何,一个基本共识是:所谓「打码」,很多时候只是给 PDF 盖了层被子——掀开被子,秘密还是那床秘密。
编者按把三条放在一起看,关键词都是「藏」与「露」。
Strata 是把大模型「塞」进小机器,靠的是真本事——专家分片、CPU / GPU / 内存协同、投机解码,每一步都算得清清楚楚;Apple 是把 AI 模型「留」在用户硬盘里,靠的是不给你开关;Google 则是想把用水量「藏」在 PDF 里,靠的是一层根本挡不住复制粘贴的黑色方块。

前两个「藏」得再狠,起码是硬功夫;最后一个,属于典型的掩耳盗铃——而且用的还是透明耳塞。