“大”语言模型是如何变成这样的？网页链接“大型语言模型真的很“大”。它们是有史以来最大的一些机器学习项目之一，并且注定（或者按照某些标准，可能已经是）成为最大的一些计算项目，甚至是最大的一些基础设施项目。

那么，语言模型究竟是如何变得如此庞大，以至于获得“大语言模型”这一称号的呢？答案很大一部分就在 GPT 中的 P（“预训练”）和 T（“变换器”）上。

这是关于大型语言模型架构及其对推理的过去和未来影响系列文章的第一部分。第一部分是“我们是如何走到这一步的”——变换器架构对大型语言模型有何如此深远的影响。有些读者可能会选择跳过这一部分。第二部分将指出一个意想不到的好处——当代 AI 推理令人惊讶的可解释性——以及为什么新的趋势可能会削弱这一点。据我所知，这是一个新颖的观点。”AI创造营