地平线余凯在骂什么?
大概针对的是同行在芯片算力上的“营销”学吧。
为什么同一颗芯片,能报出不一样的算力?这里先解释两个概念:稠密算力和稀疏算力。
1,打个比方。假设一台机器,每秒能算100道乘法题。现在给它一张卷子,上面有100道题,其中50道是“某个数乘以0”。按稠密方式计算,每道题都照常算,包括那些乘以0的题,一秒做完一张卷子。
支持稀疏计算的机器,可以识别并跳过那些乘以0的计算,只算剩下的50道,同样一秒钟,就有机会做完两张卷子。按完整卷子的题量统计,就相当于每秒完成了200道题。
这就是稠密算力和稀疏算力的区别:实际执行乘法的能力没凭空翻倍,但利用零值跳过计算,完成同类任务的速度可以提高,稀疏算力按这个完整工作量来折算。
所以稀疏算力跟稠密算力,往往是翻倍的关系。
————2,评价卷子得看前提条件
神经网络里的权重,可以理解成这些乘法题中的一个乘数。通过剪枝等处理,部分权重可以变成0,让硬件有机会跳过对应计算,处理后还要验证模型效果。
所以,稀疏算力有技术依据,也有使用条件。
按照地平线的算法,征程6P是:280×2=560TOPS。
他批评一些同行,把标称数字报到了稠密算力的六七倍。等效算力可以有测试依据,但要说清楚,在哪个模型、什么精度和测试条件下,相当于对标芯片的多少算力。
把这些条件省掉,只留下一个几千TOPS,大家就很容易拿着不同口径的数字直接比大小,容易误导消费者,余凯针对的就是这个。
