关于缩放定律的思考-------唐杰

缩放，但不仅仅是参数的缩放。现在每个模型发布都以同一个问题结束：有多少参数？这不是一个可以单独回答的问题。参数数量只有与另外三个因素结合才有意义——你有多少数据，你打算在哪里花费你的计算资源，以及谁将在什么条件下运行模型。
这个领域是吃了苦头才学到这一课的。Kaplan 等人（2020）拟合了一个指数，告诉大家参数增长要快于数据——大约 2.7:1——行业也照做了：GPT-3、Gopher、MT-NLG。Hoffmann 等人（2022）在四百个模型上重做了实验，发现计算最优的分配更接近每个参数 20 个 token，而且在足够的计算资源下，二者应该以相同速率增长，而不是渐行渐远。先前拟合中的误差随着计算量每增加一个数量级而累积，这也是为什么那一代最大的模型是最误配的。万亿参数的轮次，事后看来，是整个领域共同走了一段弯路，然后又一起折返。
Chinchilla 也不是终点。它针对那些训练一次并进行评估的模型优化了训练计算。今天，一个模型每天被调用数十亿次，推理主导了生命周期成本。将推理纳入目标函数，最优点就会向更小的模型移动，这些模型训练时间更长——刻意的过度训练，这就是 Llama-2-7B 和 Gemma-2-9B 大约每个参数 290 和 889 个 token 时所做的。
稀疏性再次移动了目标。在 MoE 模型中，有两个量必须分开：总参数大致决定了模型能容纳多少——知识、事实、长尾分布——而激活参数和有效深度大致决定了它能思考多远，能承载因果链多少步而不崩解。密集的 20:1 比率无法直接转移。而且这个比率根本不是一个单一数字：Roberts 等人（2025）发现，最优的每个参数 token 数取决于任务，记忆偏好更多参数，而推理偏好更多数据。后续关于 MoE 的工作观察到，在固定的 TPP 下，推动总参数更高实际上会降低推理能力，而激活更多专家则可靠地帮助它。
这对我们正在构建的方向很重要。发现漏洞不是检索问题。它不是来自记忆了更多 CVE；它来自将二十步推理链承载到尽头而不丢失线索。这种能力并不存在于总参数数量中。
这就引出了本次发布。总参数似乎有一个阈值——足够容纳世界——在此之后，额外能力来自其他地方的缩放：每次前向传播的有效深度，尤其是后训练。GLM-5.3 是我们对这一主张的控制实验。相同的基模型、相同的架构、与 GLM-5.2 相同的总参数和激活参数。一个月的长时域环境和 RL 缩放。收益并非微小。好吧，缩放不止一个旋钮。这次我们转动了后训练的旋钮，因为它剩下的松弛最多——而不是因为其他旋钮已经转完。基模型大小、预训练数据、每次前向传播的计算支出：所有这些都还在桌上，我们会逐一返回。这次实验告诉我们的是，这些旋钮不必一起转，下一个值得转的旋钮很少是上一个值得转的。我们还没有完成缩放。下一次，也许是中训练、预训练，甚至更多。