今年听智驾发布会,700 TOPS 这个数我数不清听过多少遍了。说出来有点煞风景,它能说明的问题不多。
决定一颗芯片好不好用的是另外一件事,数据在芯片里跑一趟要多久。
图灵奖得主 Jack Dongarra 在苏州那场发布会上讲了段不太客气的观察。三十年前浮点运算贵得要命,谁算得快谁赢;现在算力早就有富余,拖后腿的是把数据从这头搬到那头。他还提到自己当年参与做的那套基准测试,考了三十年,只考浮点性能,搬数据不问。这套卷子到今天还在用,可它已经评不出一台机器好不好使了。
按这个尺子重新量,各家报的 TOPS 都得重新算账。同样标 700 TOPS 的两颗芯片,搬运效率不一样,实际跑出来的算力能差一截。
新芯航途的 X7 Ultra 就是顺着这个思路倒推的。它只伺候 Transformer 这一类模型,把通用性让出去,换来计算利用率 98.7%,跑同一个大模型时内存带宽消耗比行业旗舰低 80%。
这个取舍我认。模型半年换一代,为一颗两年后可能已经换掉的架构留通用能力,等于给自己添堵。
麻烦还在后面。Momenta 的曹旭东给的数,他家跑在路上的车一年前 30 万台,现在 140 万台,模型参数规模还在往上翻。芯片好不容易腾出来的余量,转眼又让模型吃回去了。
这行比到最后不是谁数字报得大。上汽祖似杰那句说得实在,油车三万个零件、最便宜的车卖三万块,等于一个零件一块钱,这颗芯片得放进这笔账里算,而消费者只为体验掏钱。
