CerebrasSystems发布WSE-3:领先AI芯片市场的新里程碑

科闻社 2024-03-14 15:57:42

随着人工智能技术的飞速发展,硬件设备的性能和规模成为了影响人工智能应用效果的关键因素之一。2024年,Cerebras Systems再次引领行业潮流,推出了其最新一代晶圆级AI加速芯片——WSE-3,这一里程碑式的发布将AI芯片技术推向了新的高度。

WSE-3采用了台积电的最先进的5纳米工艺,其晶体管数量达到了惊人的4万亿个,相较于前一代增加了近50%。这一壮观的数字不仅展示了台积电工艺的先进性,也凸显了Cerebras在芯片设计和制造方面的领先地位。同时,WSE-3配备了90万个AI优化计算核心,再次刷新了AI芯片的规模纪录。这一庞大的核心数量使得WSE-3在峰值AI性能方面达到了125 PetaFLOPS的水平,相当于每秒执行12.5亿亿次浮点计算。这样的性能让WSE-3成为了顶尖超级计算机的有力竞争者。

除了硬件规格的提升,WSE-3在内存和参数支持方面也取得了显著的改进。它配备了44GB的片上SRAM,并支持外部存储器,能够存储24万亿个参数的AI模型,而且无需进行分区或者重构。这为训练更大规模的AI模型提供了强大的支持,并且具备出色的扩展性,能够支持高达2048个CS-3系统的集群规模。

在训练速度和易用性方面,WSE-3也有着显著的优势。相较于传统的GPU,WSE-3能够在更短的时间内完成训练任务,且Cerebras声称其平台更易于使用。这得益于Cerebras独特的存储方式,使得权重和激活的管理更加高效,无需扩展到多个GPU或服务器集群。此外,WSE-3还支持PyTorch 2.0等最新的AI模型和技术,为开发人员提供了更丰富的工具和资源。

在设计上,WSE-3采用了先进的液冷技术,确保芯片在高性能工作的同时保持稳定的温度。这种设计不仅使得芯片更加可靠,而且也为Cerebras提供了更大的设计空间,使得芯片规模进一步扩大。根据Cerebras的测试数据,WSE-3的液冷技术使得芯片工作温度保持在理想范围内,确保了其长时间高性能的稳定运行。

此外,Cerebras Systems在2023年成功发布了Condor Galaxy 2,该集群在G42上运行,由64个CS-3系统构建,产生了8 exaFLOP的AI计算能力。该集群是Cerebras Condor Galaxy网络的第三个安装。Cerebras与G42的战略合作旨在提供数十exaFLOPs的人工智能计算能力。Condor Galaxy已成功训练了一些业界领先的开源模型,包括Jais - 30B、Med42、Crystal-Coder - 7B和BTLM- 3B -8K等模型。

除了高通之外,Cerebras还与谷歌、微软和英伟达等公司建立了广泛的合作伙伴关系。这些合作伙伴关系涵盖了软件优化、算法研究以及人工智能应用领域。通过与行业领先公司的合作,Cerebras能够更好地理解客户需求,并将其技术优势转化为实际的商业应用。

*免责声明:以上内容整理自网络,仅供交流学习之用。如有内容、版权问题,请留言与我们联系进行删除。

0 阅读:15

科闻社

简介:专注硬科技产业与金融领域信息