512GB塞进一台Mac Studio，本地跑大模型开始没那么折腾了

苹果新款M5 Ultra Mac Studio最高配到512GB统一内存，带宽达到1.2TB/s，官方已经明确把数千亿参数大模型的本地推理列为主要使用场景。
拿英伟达DGX Spark对比会更直观，它本身更小也更轻，只有1.2公斤，单机统一内存是128GB，英伟达给出的模型规模上限约为2000亿参数。
如果要运行更大的模型，DGX Spark需要通过高速网络把两台机器连起来，将支持范围扩展到约4050亿参数。
Mac Studio虽然体积更大，M5 Ultra版本约3.6公斤，但512GB统一内存都集中在一台机器里，很多超大模型不需要再拆到多台设备之间运行。
新版Mac Studio让本地AI部署变得更简单了，过去需要多卡服务器或者多台设备才能装下的模型，现在一台桌面机器就有机会直接运行。
本地大模型的门槛正在从搭一套AI服务器，慢慢变成准备一台高内存电脑，模型推理离普通开发者和小团队又近了一步。