众力资讯网

LM Studio联合苹果用四台Mac Studio集群跑上万亿参数Kimi K

LM Studio联合苹果用四台Mac Studio集群跑上万亿参数Kimi K2.6(MoE,激活320B)。统一内存池约1.5TB,Thunderbolt 5互联,实测生成速率28 tokens/s,功耗远低于传统GPU。LM Link可从MacBook Neo/iPhone安全访问本地模型。

自己部署本地模型,应该是很多搞机佬的梦想吧?