2022年末，随着ChatGPT 3.5的横空出世，让原本有些沉寂的人工智能技术再次成为人们关注的焦点。大批大型软件企业和科技创业公司，都在投入资源研发生成式大语言模型（以下简称“大模型”或“LLM”），一时间ChatGPT、Gemini、Llama等大模型竞相问世，呈现“百模大战”的繁荣场面。

过去多年里，Facebook 和微软等巨头一直在设计自己的网络硬件，并将生产外包给海外制造商。思科之所以会滋生这个想法，是因为大型科技公司希望可以创建满足其特定需求的定制网络设备，而不是购买思科的传统路由器和交换机。

思科CEO Chuck Robbins在2019年接受媒体外媒的时候曾表示：“向服务提供商（包括电信公司）销售产品，几年来一直是一个艰难的市场。”公司的业绩和股市也在这段时间遭受冲击。这就驱使网络巨头去寻找新的路数。因此，思科希望通过销售专用网络芯片，吸引那些自己制造硬件但仍需要专用芯片的科技巨头。

思科从1999年收购半导体公司StratumOne Communications，之后通过多次收购半导体相关公司，积累了丰富的人才和技术资源。2019年，思科掀开了公司自研芯片的轰轰烈烈新序幕，并于当年12月首次推出了Silicon One芯片架构，当时称其目标是为“未来网络奠定通用基础”。

对外销售公司思科推出的Silicon One芯片就成为了思科的新“救命稻草”。思科也希望通过这种方式带来改变，吸引客户购买思科的新芯片或由他们提供动力的公司新路由器和交换机。思科CEO Chuck Robbin更是自豪地说：“从今天开始，我们将做一些你们中的一些人从未想过我们会做的事情——向我们的一些客户出售我们的芯片并帮助他们构建其产品。”思科在当时也透露，他们正在向包括 Facebook、微软和AT&T在内的少数知名企业销售网络芯片。

近日，思科又带来了用于人工智能超级计算机的网络芯片。思科表示，这些芯片可以帮助执行人工智能和机器学习任务，减少 40% 的交换机和更少的延迟，同时提高能效。

分析这一问题，需要区分大模型的两个阶段，即训练阶段和推理阶段。训练阶段是大模型的研发阶段，在这个阶段，模型会通过输入数据进行多次迭代，不断调整模型参数，以使模型能够更好地拟合数据并提高预测准确性。这个过程需要大量的计算资源。

推理阶段是指在模型训练完成后，将其应用于实际数据进行预测或推断的阶段，也就是应用阶段。在推理阶段，模型接收输入数据，并利用之前学习到的参数和规律来进行预测、分类、生成等任务。推理阶段通常需要较少的计算资源，因为模型的参数已经在训练阶段被确定，不需要进行参数更新。

在现阶段，大模型的推理工作主要由服务器端来提供服务，算力负载集中在服务器端。因此大模型企业对英伟达的GPU有大量的需求，以支持海量用户的推理请求。但这一趋势在发生变化，大模型落地应用的一个重要场景是智能助理（Agent），这需要个人电脑或手机在一定程度上摆脱对网络的依赖，具备在本地运行大模型的能力。

要实现大模型本地推理的算力，CPU异构运算的方式可能会逐步成为主流，即“CPU+内置GPU+NPU”的方式，这和历史上CPU+数学协处理器的方式比较类似。短期内大模型以神经网络为核心算法不会发生大的变化，完全可以采用专门硬件（NPU）来加速运算。大模型的本地化运行，在一定程度上会减少大模型厂商对英伟达CPU的需求。

但是在训练阶段，大模型的规模法则（Scaling Law）依然存在，即大模型的性能与训练规模依然正相关。此外，现在的大模型主要集中在自然语言处理方面，多模态大模型还未充分发展，大模型要成为真正的通用人工智能，还需要实现多模态的能力，这相比现在的训练，需要更加庞大的GPU算力。

从大模型训练过程看，未来大模型的算力竞赛依然会持续相当长的一段时间，对GPU会存在大量的需求，这一市场基本被英伟达所垄断，可以预测英伟达的高速增长依然会持续。