前OpenAI大模型优化研究员Diogo Almeida发布了博客《Scaling Laws, Honestly》,直指2020年Kaplan等人那篇奠基性扩展定律论文存在一个bug。

问题在于各种规模的模型都套用了同一套固定token预算、且学习率逐渐衰减到零的方案，这掩盖了大模型实际需要多得多的数据，使业界在约两年里持续把算力过度分配给参数、亏待了数据。

两年后DeepMind的Chinchilla翻案，主张模型规模与数据应大致同等重要地一起放大。DeepMind研究员Sander Dieleman转发点评，称这段往事很可能害业界在体量过大、训练不足的模型上白烧了大量算力。
这与其说是一次技术勘误，不如说是一堂关于科学傲慢的公开课。真正可怕的不是那行代码，而是整个行业把一条尚未证伪的经验曲线供成信仰，为万亿资本与算力的狂飙背书，奥特曼口中AGI的底气一度就系于此。
一个隐蔽的超参数，足以让最聪明的一群人集体误判两年，这提醒我们，越是漂亮的幂律，越要追问它成立的边界。
也需冷静的是，Almeida的单一bug叙事本身仍有争议。多篇同行评审的复现研究认为，两代定律的分歧应归因于末层算力计数、预热时长与批量调参等多重因素,其中一些工作甚至判定学习率衰减并非主因。 真理从不因权威而成立。中国AI要走自己的路，正需要这种敢于复盘、允许争鸣、也质疑翻案者的空气。