惹来争议,AI大模型为何如此的贵?

数字科技互联界 2024-06-01 07:20:10

AI大模型的热度已经持续一年多了,而且丝毫没有减弱之势。不过最近出现了一些质疑的声音,直指AI大模型极大地消耗地球资源。据华为AI首席科学家田奇透露,AI大模型60%的成本是电量消耗,是不折不扣的超级“电老虎”。据美媒报道,为响应2亿个用户请求,ChatGPT每天消耗超50万度电,用电量抵得上5万多个中国家庭。此外,AI大模型不仅耗电还耗水。据谷歌发布的2023年环境报告,谷歌数据中心去年用掉了全球每天饮用水的1/4水量。

在4月初的一次播客采访中,OpenAI的竞争对手Anthropic的首席执行官达里奥·阿莫代伊(Dario Amodei)指出,当前市场上人工智能模型的培训成本已高达1亿美元。他进一步表示:“目前正在训练的模型,以及预计在今年晚些时候或明年年初不同时间推出的模型,其成本已接近10亿美元。而在我看来,到了2025年和2026年,这一成本将飙升至50亿或100亿美元。”

这个成本确实不是普通企业能消费得起的,所以AI大模型依然是超级巨头的玩具。其实,AI大模型的成本高是多方面影响的,包括训练成本、硬件成本、数据成本、模型架构和优化成本、推理成本、电力和维护成本以及研发成本等,它们相互交错共同推高了AI大模型的成本。但究其根本,就是硬成本和软成本。

其中,硬成本包括芯片(GPU)、服务器、数据中心、可扩展设备等成本。

训练大型AI模型通常需要大量的高性能GPU。例如,微软与英伟达合作推出的Megatron Turing-NLG(MT-NLG)模型使用了4480块A100 GPU。GPU的选择(如英伟达的A100、V100等)和数量直接影响成本。英伟达的H100图形芯片,作为训练人工智能模型的黄金标准,其预估售价高达3万美元,但市场上一些经销商的报价更是成倍增长。除了GPU,还需要其他服务器硬件,如CPU、内存、存储和网络设备。这些硬件的成本累计起来也是一笔不菲的数目。

而训练AI大模型则需要在数据中心进行,数据中心的建设和维护成本包括电力、冷却系统、安全和维护等。随着AI模型规模的增大,可能需要不断增加硬件资源,这就需要考虑硬件扩展的成本和长期可持续性,这同样让成本高筑。

AI大模型的软成本包括模型架构及优化成本、训练成本和自然资源成本。

设计和优化大型语言模型需要专业的研究人员和工程师,这涉及到显著的人力成本。去年,流媒体巨头Netflix曾一度发布广告,招聘人工智能产品经理一职,年薪高达90万美元。同时,AI大模型的训练成本非常高。例如,OpenAI首席执行官Sam Altman曾提到,GPT-4的训练成本超过1亿美元。根据AI Index年度报告,大模型的训练成本随着模型规模的增大而急剧增加,2017年Transformer模型训练成本约为900美元,而到了2023年,GPT-4和Google的Gemini Ultra的训练成本分别约为7800万美元和1.91亿美元。随着训练数据量的增长AI大模型的训练费用还在节节攀升。

AI大模型在训练过程中需要大量的算力,这直接导致对电力的巨大需求。例如,英伟达H100芯片的最大功耗为700瓦,运行一小时就要耗电0.7度。此前有消息称,OpenAI训练GPT-5,需要数万张H100芯片。除了电力,AI大模型在运行过程中还需要大量的水资源用于冷却和散热。例如,谷歌2022年的用水量达到了56亿加仑水,用于数据中心散热。AI大模型的训练和运行过程中还会产生显著的碳排放。斯坦福大学报告显示,GPT-3模型在训练期间释放了502公吨碳。

这些成本因素表明,AI大模型的成本是非常高的,并且随着模型规模的增大和训练复杂性的提高,这些成本还在不断上升。而这些成本支出是否值得,现阶段下结论也还为时尚早。

0 阅读:15

数字科技互联界

简介:感谢大家的关注