个人认为现在 AI 大模型存在的一个误区可能是这样的，即过度追求单个模型的参数数量，目前看，很可能 400亿参数就是一个不错的限度了，毕竟 DeepSeek v3 运行时使用的就370亿，但是许多结果超过 4000亿参数的模型。更大的参数实际带来的增益恐怕就像HiFi 音响一样了，那就是你追求极致的结果了
实际上作为人脑来说，即使你成为科学家，人脑的神经元也就是800亿，不会增加也不会减少，但是其中神经元之间的连接应该会增加，层级深度会增加
以后模型的架构必然需要考虑到场景适应性，降低训练成本，部署成本，能够针对特定的场景进行训练或者对齐
在现实世界中也是如此，其实你不会同时要求一个人什么都精通，他能在某个或者某几个领域非常擅长，同时能够在过程中增强学习就不错，这可能才是更好的一种架构
如果按 100亿参数为单位，那么大模型的摩尔律就是要每18个月性能提升一倍，价格降低一倍
.
