现在的人工智能比较火，它主要就是起源于统计学里的logistic回归，这个回归用

现在的人工智能比较火，它主要就是起源于统计学里的logistic回归，这个回归用来进行软分类的，是最简单的非线性分类。 在人工智能起源之前，统计学对这个分类就研究得很详细了，用它来分类鸢尾花。然后多个logistic回归并列在一起，就可以对一个向量进行分类了。 这实际就是构成了神经网络的一个层。早期的神经网络主要是两层。每一层就是多个logistic回归，第二层就是分类结果层。有了层的概念之后，自然就会考虑多层了。 到这个地步为止，神经网络基本就被发明出来了，所以神经网络本质是一个复合的logistic回归模型。 就像线性模型需要最小二乘法去求参数一样，对于这个复合的logistic模型，也需要一个求参数的方法。 这就是推导出来的反向传播方法。所以神经网络本质就是对统计学的logistic回归做大做成了复合模型。然后求这个回归模型的参数。 至于说为什么三层神经网络可以逼近任何函数，这是因为把这个复合logistic模型展开为级数，就会发现它有一组完备的基。这组完备的基可以张成一个函数空间，这空间里的函数都可以用它表示。 到目前为止，这一切都是应用数学的创新。 接着是卷积的引入，一旦理解了神经网络是多个logistic回归的聚合，就可以推出神经网络可以处理各种向量，矩阵，乃至张量。 卷积在图像处理里很早就出现了，用来提取图像特征，提取结果还是一个矩阵，在最早人们可以直接输入图像到神经网络，没有卷积也可以，理论上没有问题。 但是卷积可以优化这一点，毕竟输入简化的特征图像和原始图像比，可能更容易识别一些，这就是卷积的原始想法。 最主要的是卷积结果是一个矩阵，一开始也不是就认定了卷积，对于预处理来说，有很多方法，只是后来发现卷积模板和神经网络更容易无缝集成。所以卷积神经网络出现了。 现在开始集中到处理序列数据，这在统计学里有很多自回归模型，比如arma，已经研究了很久。 现在已经理解了神经网络的基本思想，对序列数据的扩展到神经网络，也是水到渠成的事了。这就出现了RNN，这里面的思想基本已经很清晰了，扩张arma之类的方法就行了。 针对序列数据，比如时间序列数据的处理技巧，很多可以自然扩展到RNN。再说卷积方法和时间序列也很容易无缝集成。所以可以看到现在的人工智能实际是对统计学的一个升级。 序列数据的回归就是怎么处理过去的数据和对未来数据的关系，基本的方法就是构建一个模型，可以是加权。当然也有重采样拟合。总之可以折腾很多方法，然后扩展到RNN。 这里面仿生学提供了最初的类比，从实质来看，是对统计学的运用。主要的原因是计算机的出现，可以实验神经网络了。 现在层出不穷的大模型就是起源于古老的ARMA统计模型。 当然，虽然想法都是应用数学，然而还是走在了理论的前面，因为分析这种大规模的模型，目前还没有先例。 而且统计学里还有很多方面没有被神经网络化，现在的大模型可以视为回归，以及相关性计算。 但是假设检验的事情还没有出现，另外还有很多冷僻的角落没有被神经网络化。比如实验设计。神经网络能否根据假设去设计实验。 所以人工智能会变成什么样子，没人知道。 开源大语言模型 人工智能