24年是AI元年。不管是语言模型(LLM)还是文生图又或者是视频生成、语音合成等

好的奕 2025-01-03 13:38:49

24年是AI元年。不管是语言模型(LLM)还是文生图又或者是视频生成、语音合成等,在24年如同雨后春笋般涌现。

我觉得可以用「百花齐放」来形容这种景象。

严格意义上,我不算是互联网人,我从事的是电子半导体行业,但对AI的落地及应用的感触也非常深。

AI模型和算法领域,唯一不变的就是一直在变,且变化速度(更新迭代)非常之快。

特别是在以大模型为核心的AI浪潮中,如何保证算法能在硬件上保持高效的运作跟可编程性,这是未来硬件设计者的工作重点。

这不仅涉及到通用计算GPU的计算能力和可编程性,对于边缘硬件来说,更要求能够处理从单一模型推理到设备管理等所有并行加速任务,并且必须与其他功能共存,共享热预算和进行有效的热管理——在有限的空间内有效地处理多种任务,并且在不引起过热的情况下与设备上的其他功能和谐共处。

当电子设备的性能变得越来越强,内部的晶体管也越做越小、越多。

优点是可以让设备完成更复杂的任务。

但是,这样做也会带来一个问题:设备会变得更热,耗电也会增加。

对于边缘AI设备(比如智能手机、智能手表等不在大型数据中心里的设备),这些体积比较小,电池容量有限,所以不能只追求能完成多少计算任务(峰值运算能力),还得考虑在完成这些任务时消耗了多少电力。

换句话说,未来的边缘AI设计可能需要从整体出发,考虑更多方面的问题,而不仅仅是算力有多牛。

更重要的是要确保设备在不耗费太多电量的情况下,还能高效地运行AI功能。

我觉得AI就像是开车,不仅要关心车子能跑多快,还要看它是否省油。

这对于边缘AI的应用至关重要。

0 阅读:1
好的奕

好的奕

感谢大家的关注