众力资讯网

算力现在很短缺,老早的V100和A100都在用。在某个时间点以后,算力就会大幅过剩,因为优化很厉害 图为大模型榜单,artificial intelligence的分数。这是说Meta的Muse爬上来了。就很多家都能搞挺高分的,谷歌的Gemini被嘲笑了,还没发力。 这榜单还有个特性,省钱的、速度很快的模型多了。这是中国开 ​

算力现在很短缺,老早的V100和A100都在用。在某个时间点以后,算力就会大幅过剩,因为优化很厉害

图为大模型榜单,artificial intelligence的分数。这是说Meta的Muse爬上来了。就很多家都能搞挺高分的,谷歌的Gemini被嘲笑了,还没发力。

这榜单还有个特性,省钱的、速度很快的模型多了。这是中国开源大模型带来的风气,说明了优化的潜力很大。

就和以前AlphaGo下围棋一样,开始要一个房间的服务器支持,几千块TPU,阵仗很大。后来优化到一块强卡就能跑,轻松指导世界冠军涨棋。下围棋的算力过剩了,需求没那么多。大家还是喜欢和人下棋,看人下的棋。

原始的大模型本质就是一个极为低效的计算过程。现在美国头部模型追求高性能,优化就没怎么搞,是极为浪费的,矩阵计算绝大多数都可以狠狠优化。现在业界潮流逐渐转向优化提升性价比了。

现在是还没到时候,就说算力极度紧缺。阿里说,2020年以前买的V100和A100都在狠命用。

芯片在生产,理论上没有上限,要多少有多少。美国实际不缺芯片,缺电力和数据中心。中国AI芯片也在放量,规划非常宏大,一个月几十万片,一年上千万个AI芯片只是时间问题。

以前互联网也是缺带宽,不停加光纤,还优化传输算法,最后就够了。算力也是一样,很缺到过剩,就是一个必然的技术过程。

人就这么多,几十亿人。很多人对AI没什么兴趣,看见AI内容就反感。要么就是浅层使用,当大号搜索引擎用。跑Agent没完没了的,搞规模很大的coding的,没有很多人。一般人就是编点小程序,需要的token不多。这么算下来,对token的需求有个上限。

等大模型生产token的能力超过需求,不会停,还会继续优化提升token生产力,过剩就来了。很牛逼的智能,以白菜价价格提供。这是竞争的必然结果。