众力资讯网

【科技快报网】7月28日,阿里云真武M890超节点实例已Day0适配Kimi K

【科技快报网】7月28日,阿里云真武M890超节点实例已Day0适配Kimi K3,这是国内首个跑通近3万亿参数模型的超节点。
该超节点实例搭载ICN Switch高速互联芯片,可让64张平头哥真武M890实现800GB/s全互联,显存规模达9TB,能突破万亿参数模型运行的算力、显存和网络带宽瓶颈。阿里云、平头哥与Kimi团队从软件栈、算子等层面完成深度联合适配,适配后模型首Token时延降低约35%,单卡解码吞吐提升1.8倍,可稳定支持1M长上下文。后续相关方将进一步展开国产算力合作,千问AI平台和阿里云百炼也将提供Kimi K3的模型API,验证国产算力已具备支撑超大参数模型大规模应用的能力。