在同样数据精度下,Intel的AMX是满血AVX512的8倍~如果按照Int 8去算的话,那么128C 2G的Granite Rapids,大概是128*2*2048GTops的算力,折算成TOPS就是524TOPS的算力,不算稀疏的话有H100的1/4... 大约是4090的80%~ GPU带宽也是80%左右。
所以其实用这种CPU来跑大模型推理也是很正常......
在同样数据精度下,Intel的AMX是满血AVX512的8倍~如果按照Int 8去算的话,那么128C 2G的Granite Rapids,大概是128*2*2048GTops的算力,折算成TOPS就是524TOPS的算力,不算稀疏的话有H100的1/4... 大约是4090的80%~ GPU带宽也是80%左右。
所以其实用这种CPU来跑大模型推理也是很正常......
猜你喜欢
作者最新文章
热门分类
科技TOP
科技最新文章