腾讯云引领AIGC时代,自研存储引擎驱动云存储解决方案全面升级

玩数据还有点懒 2024-04-17 21:42:39

大模型时代汹涌而至,可谓势不可挡,引领着行业变革的浪潮。今年4月,艾瑞咨询在《AIGC系列报告——中国AIGC产业全景报告》预测,到2028年,中国AIGC产业规模预计将达到7202亿元,中国AIGC产业生态日益稳固,完成重点领域、关键场景的技术价值兑现,逐步建立完善模型即服务产业生态。

数据中心不能“偏科”

Gartner预测,到2023年将有20%的内容被AIGC所创建;到2025 年人工智能生成数据占比将达到10%。不可否认,生成式AI、大模型正在成为数据中心基础设施发展最大的牵引力。可以预见,由AIGC和大模型带来的基础设施投入在未来会持续增长。

但从目前真实情况看,数据中心的建设是“偏科”和“失衡”的。出于各种原因,“重算力、轻存力”的现象较为明显,大部分用户非常看重GPU等算力产品的部署,却忽视了存力建设的重要性,更缺少对于数据中心整体资源的规划与匹配。

众所周知,大模型应用的核心是高质量数据,数据的质量又决定着算法的性能、泛化能力和应用效果,而高质量数据的得到又与存力息息相关,围绕数据的“传输、存储、分析、管理、安全”等环节,存力是释放数据价值必不可少的关键因素。

事实上,大模型发展到今天,已经属于一个大规模、高质量数据和数据高效处理的工程难题。随着大模型逐渐向多模态的方向演进,意味着除了持续的算力需求之外,对于数据存储的容量、性能、多协议支持、可靠性、数据管理等带来前所未有的变化。

各方面技术升级,自研存储优势凸显

随大模型的持续演进,传统存储无法满足大模型的研发流程,旧概念已然被颠覆,高效存储数据已成为“模型精炼”不可或缺的一环。新趋势下,腾讯云针对AIGC场景推出的云存储解决方案,对AI大模型的研发和生产流程提供了高效、全面的支撑。

正如腾讯云存储总经理马文霜所说的:“2021年的时候,腾讯云存储产品的性能就领先业界。今天,我们针对AIGC等新型场景进行性能和功能的全面升级。”

具体来说,本次方案对AIGC的价值体现在这几个方面:

在数据采集上,腾讯云自研的百EB级存储引擎YottaStore支撑对象存储COS的卓越性能。YottaStore的研发,成为腾讯云在超大规模数据存储领域取得的重要突破,除了具备超高速公网访问能力,还能实现海量弹性存储规模,为AI大模型的数据收集与清洗提供强有力的支持。

进入数据清洗环节,腾讯云以数据加速器GooseFS,提升数据访问性能,实现了高达数TBps的惊人读取带宽。这一技术突破不仅为计算任务的高速运行提供了有力支撑,更大幅提升了数据清洗的整体效率,确保了数据处理流程的顺畅与高效。

在数据训练上,腾讯云自研了业内唯一的云原生并行文件存储系统——CFS Turbo,它基于自研的分布式高性能存储引擎Histor,通过减少数据拷贝和虚拟化消耗,以及应用侧的自研并行文件传输协议,实现了高性能的存储和访问。此外,CFS Turbo也针对AIGC的多种场景进行优化,提升读写性能,如今已被广泛应用于AI人工智能、高性能计算、自动驾驶、工业仿真和影视特效等多个领域。

免责声明:

1、本号不对发布的任何信息的可用性、准确性、时效性、有效性或完整性作出声明或保证,并在此声明不承担信息可能产生的任何责任、任何后果。

2、 本号非商业、非营利性,转载的内容并不代表赞同其观点和对其真实性负责,也无意构成任何其他引导。本号不对转载或发布的任何信息存在的不准确或错误,负任何直接或间接责任。

3、本号部分资料、素材、文字、图片等来源于互联网,所有转载都已经注明来源出处。如果您发现有侵犯您的知识产权以及个人合法权益的作品,请与我们取得联系,我们会及时修改或删除。

0 阅读:9

玩数据还有点懒

简介:感谢大家的关注