Kimi K3是你能下载的最大的开源模型，而已经有人把它放在数据中心之外运行了。一位开发者在64GB的MacBook Pro上通过从固态硬盘流式加载把它跑了起来；两台Mac Studio用雷电连接起来跑大约每秒13个词元；租一个8块数据中心显卡的节点，它写得比你读得还快。
这些配置各有各的价格，而且差价很大：如果你已经有那台笔记本，前期成本为零；两台Mac要好几万；而显卡节点大约每小时396元。
每个方案上单个回答要多少钱，取决于K3每写一个词元要读多少模型。它有2.8万亿参数，每个词元大约用掉1040亿个，是此前家用那些K2模型的三倍。你的硬件要为每一个词元读完全部这些，所以它搬运这些参数有多快，就决定了你的速度。而在按机器付费的硬件上，速度还会决定每个回答的成本，这正是你要拿去和按输出词元计费的接口价对比的东西。

▶ 64GB的MacBook，从固态硬盘流式加载
笔记本这条路能成立，是因为模型从来不必塞进内存。做这件事的开发者把K3重新打包成一个约1TB的3比特格式，放在固态硬盘上，并写了一个只加载每个词元需要的那几个专家的引擎。这份副本必须放在Mac的内置固态硬盘上，放在外置硬盘上时每个词元要花约13秒，而不是3秒。
每个词元都会用到的部分留在内存里，而专家随词元变化，所以每个词元意味着从固态硬盘读取约17GB的专家。仅这一次读取在内置高速盘上就超过一秒，再加上计算，每个词元大约三秒。一个约500词元的回答要接近半小时。
重新打包也损失了一些质量。K3是按4比特训练运行的，把它的专家压到3比特，权重会明显偏离原版，而目前还没有人测过这会让它的答案差多少。
如果你已经拥有一台64GB并有那么多空闲空间的Mac，试这个的成本是零。但它不是一台你能拿来干活的东西。笔记本的内存够快，但太小装不下那些专家，所以每个词元都在等固态硬盘。

▶ 两台Mac Studio
从笔记本往上走一步，是内存足够装下一个缩小版模型，于是什么都不必从磁盘上搬。两台各512GB的Mac Studio合起来是1TB，用雷电连起来就当成一台机器用。但这仍然不够装K3的官方文件，所以这对机器跑的是一个缩得很小的副本。一位搭过这套的用户得到大约每秒13个词元，快到可以边读边跟上。
那是M3 Ultra的机型，而苹果因为内存芯片短缺在三月停售了512GB版本。今天你只能买二手，每台大约13万到18万元。苹果说512GB的M5 Ultra会在十月下旬到，但还没有公布价格。
算一笔账：如果这对机器全天候以每秒13个词元写一整个月，同样的输出用Moonshot的接口大约只要3600元。而两台二手Mac约26万元，这意味着要六年不间断使用才回本，还不算电费，如果只在工作时间跑，那就更久。

▶ 按小时租显卡
租能让你拿到完整模型，不用缩小，也没有前期成本。装下全部K3的最小机器，是8块最新数据中心显卡组成的节点，云厂商大约每小时396元。在这套硬件上，K3为每个用户每秒写远超100个词元。
但无论一个人用还是一百个人用，你都要为整个节点付钱。如果你一直自己全速写，每百万词元大约要花540元，是Moonshot报价的五倍。真实使用比这还糟，因为你花在读答案或写下一个提示的每一分钟，节点都在闲置却照样计费。
而当很多人共享这个节点时就不同了。显卡会在同一步里为所有人的下一个词元工作。每多一个用户各人都会略慢，但同一个账单下，节点每小时产出的词元数量远超从前。在这套硬件上、按这种共享方式实测、并以大型云厂商的显卡价格计算，K3大约每百万词元0.72元。Moonshot没有说自己服务K3的成本，但如果接近这个费率，那么每百万108元的报价有着很宽的毛利，而这仍然远低于你独占一个节点的代价。

▶ 按词元付费
所以对一个人来说，跑K3最便宜的方式，就是把请求发出去。Moonshot收输入每百万22元、输出每百万108元。一个编码智能体发出去的远多于收回来的，而它发出去的大部分每一轮都一样：它的指令、工具列表和已经读过的文件。Moonshot会自动缓存这个重复的提示开头，按输入价的十分之一计费，只要下一个请求在上一次之后的五分钟内到达。对更慢的工作，你可以请求一小时的缓存，写入贵一倍，但重复时享受同样的折扣。
更大的成本是K3写出来的东西，而其中很多是你永远不会读的推理。在接口上，思考始终是开启的，而默认努力是三个档位里最高的。对日常任务把推理努力设为低或高，会减少它在回答前的推理，于是你付更少的词元、每个回复也等得更短。其他提供商也卖K3，有的比Moonshot便宜，但不是所有都说明自己压缩了多少。
Moonshot的端点兼容OpenAI的客户端，模型名就用kimi-k3。如果你自己写客户端，要把每条助手消息原样回传，包括它的推理内容和任何工具调用，因为K3期望在下一轮看到自己之前的推理。
{
"env": {
"ANTHROPIC_BASE_URL": "https://api.moonshot.ai/anthropic",
"ANTHROPIC_AUTH_TOKEN": "YOUR_MOONSHOT_API_KEY",
"ANTHROPIC_MODEL": "kimi-k3[1m]",
"ANTHROPIC_DEFAULT_OPUS_MODEL": "kimi-k3[1m]",
"ANTHROPIC_DEFAULT_SONNET_MODEL": "kimi-k3[1m]",
"ANTHROPIC_DEFAULT_HAIKU_MODEL": "kimi-k2.7-code",
"ANTHROPIC_DEFAULT_FABLE_MODEL": "kimi-k3[1m]",
"CLAUDE_CODE_SUBAGENT_MODEL": "kimi-k3[1m]",
"CLAUDE_CODE_AUTO_COMPACT_WINDOW": "1000000",
"CLAUDE_CODE_EFFORT_LEVEL": "max"
}
}编码智能体也可以通过Moonshot的Anthropic兼容端点使用K3。把几行环境变量放进配置文件的env块然后重启即可，它们会替换掉那个工具原本会调用的所有模型。Moonshot的指南警告说，如果你只设置了其中一部分，用到缺失那些模型的任务会静默失败。指南还建议把努力设到最高档用于困难任务，日常则可以调低。

▶ 什么时候自己跑才划算
自己跑只在两种情况下说得通。
▷ 第一种，是数据不能离开你自己的机器。K3的许可证允许内部使用而无需额外条款，所以一家公司可以在租的或自有的硬件上跑它，把所有东西都留在内部，代价是每词元更贵。
▷ 第二种，是有足够多的人让硬件保持繁忙。团队不管用不用都要为显卡节点的钟点付费。它把这些钟点填得越满，每词元的成本就越接近接口提供商自己的水平。
▶ 我的建议
第一，先算你真实的使用强度，如果你不是全天候满负荷，独占硬件几乎不可能回本，直接调用更划算。
第二，把注意力放在软件层的省钱手段，开启或请求提示缓存、把推理努力调到与任务匹配的档位，这两项的效果立竿见影。
第三，如果确实要自建，只因为两个理由才做，数据不能出机器，或者有足够多的人共享把硬件跑满，其他情况下自建只是把账单提前付清。