好久没有这么写东西了，有一种返璞归真的感觉。

虽然 ai 现在已经非常厉害了，而且技术型的知识更是 ai 的强项，但写写有助于自己思考。

余凯发了一个微博，专门讲了芯片算力相关的内容，我不对此评价，因为我指定没有他懂，专业的事就留给专业的人吧。

但我们可以换个角度，算力本身的 数字 营销化，是今年才有的吗？是一个新芯航途带起来的吗？

这难道不是从国产大算力芯片替换开始的吗？

这个过程我相信，所有国产芯片厂商都经历过，所以这个真没啥特别需要讨论的。

但我们可以讨论的是，随着模型能力越来越强，而且在一个属于加速度阶段的情况下，芯片厂商究竟应该怎么定义产品去满足客户和用户需求。

理想拿出的是 数据流 架构，新芯航途是 大核 架构，地平线也是纳什架构，都针对 Transformer 有特定优化。

Transformer 里有三个算子对数值精度极度敏感，LayerNorm、Softmax、Transpose。

业界通行做法是把它们从 NPU 的矩阵单元里踢出去，交给 CPU 或者降到 BF16 算，因为 INT8 的定点乘加单元做不了 exp 和除法。

代价是，数据要搬。

LayerNorm 需要跨通道归约，Softmax 需要全序列归一化，Transpose 是纯数据重排。

这三个算子如果跑在 CPU 上，每一层都要把张量从 NPU 的片上缓存搬回 DDR，再搬回来。

一层搬两次，几十层就是上百次往返。

X7 Ultra 的做法是给这三个算子做专用硬件加速引擎，并且原生支持 FP16/FP32 向量计算。

等于把整条链路上的精度洼地和数据搬运点都填了。

它敢承诺量化后与 FP32 训练模型相似度 99.99%，四个九，前提就在这里。

地平线纳什架构也针对 Transformer 做了优化，但公开材料里没有这三个算子的专用加速和原生浮点支持的对应描述。

6P 的规格表里能看到的是 200 GFLOPS 的图像处理算力和支持 3D 渲染的 GPU，浮点算力是有的，但没说是怎么组织给 Transformer 用的。

芯片本身到今天，不再是硬件需求了，而是要看到软件的发展方向。

大核的架构对模型的连续性支持是不是更好，其实后面就有有客户去判断。