而 GPT 发布后有一堆人跳出来说中文如何如何落后，高质量数据怎么这么少，导致什么“训练数据的中文语料污染”问题，最终推导出中国不可能训练出高质量模型。

我当时就指出本质上，模型对于知识的理解是跨语言的。用全球的所有语言数据集训练也不影响中文使用，所以这个问题根本不用担心。但是这个“训练数据的中文语料污染”的话题，还是传播的如此之广。。。

而随着大家对模型的理解越来越深入并且对训练数据越来越重视，模型的研究人员在《Scaling Laws, Honestly》的评论中指出：

训练数据不足的问题，在英语训练数据的数据集上，异常明显！！！！！

换而言之，英文，异常的贫乏！！！！！

一下为原文翻译节选，完整版看截图：

“我预先注册的实验运行了相同的架构、相同的优化器、相同的计算，只是训练语言有所不同。一个拥有1.25亿参数的Transformer在法语上在大约1.97亿令牌时达到了语法能力（在一致性探测上达到100%）。相同的模型在英语上即使超过30亿令牌也仍处于随机水平。这仅仅由于语言就导致了超过15倍的出现阈值差距，与Pythia的英语曲线相比，这使得法语在相同硬件上的训练效率大约高出50到100倍。”

“英语在形态学上是贫乏的，是我测试的十二种语言中效率最低的语言之一。”

xxxxxxxxxx

当初传“模型的中文语料污染”的脑残们，你们人呢？

能否站出来道歉一下？

也许别人的记性不太好，但是，我是我写东西的追求就是 time will tell 。

所以，我从不会忘记。

The north remembers, Lord Davos.