在同样数据精度下,Intel的AMX是满血AVX512的8倍~如果按照Int8

美吖科技 2025-01-26 23:35:41

在同样数据精度下,Intel的AMX是满血AVX512的8倍~如果按照Int 8去算的话,那么128C 2G的Granite Rapids,大概是128*2*2048GTops的算力,折算成TOPS就是524TOPS的算力,不算稀疏的话有H100的1/4... 大约是4090的80%~ GPU带宽也是80%左右。

所以其实用这种CPU来跑大模型推理也是很正常......

0 阅读:24
美吖科技

美吖科技

感谢大家的关注