众力资讯网

如果你做模型训练或者推理部署,推荐关注NVIDIA的Spectrum-X硅光交换

如果你做模型训练或者推理部署,推荐关注NVIDIA的Spectrum-X硅光交换机。

这周正式全面量产了。为什么重要?因为AI数据中心的瓶颈已经从「算力不够」变成了「数据传得不够快」。几万张GPU一起跑,数据在GPU之间搬来搬去的时间比计算时间还长。

Spectrum-X用硅光技术把数据传输延迟降了一个数量级。翻译成人话:同样的GPU集群,换了交换机之后训练速度快30-50%。

这个技术对做AI infra的人很重要。对不做infra的人——你只需要知道NVIDIA不仅卖GPU,还在卖「GPU之间怎么聊天」的解决方案,而且这个更赚钱。AI NVIDIA SiliconPhotonics 算力