Nemotron - CC是英伟达重磅发布的大型英文AI训练数据库。
强大的数据规模与质量
Nemotron - CC总计包含6.3万亿个Token，其中1.9万亿为合成数据。这一庞大的规模中还内含大量经过验证的高质量数据，英伟达更是豪称它是“训练大型语言模型的理想素材” 。目前业界AI模型性能很大程度取决于训练数据，而现有公开数据库在规模和质量上有局限，Nemotron - CC的出现就是来打破这一瓶颈的！
数据来源与处理
它是基于Common Crawl网站数据构建的，经过严格的数据处理流程后，提取出高质量子集Nemotron - CC - HQ。在开发过程中，英伟达使用了模型分类器、合成数据重述（Rephrasing）等技术，保证了数据的高质量和多样性。同时针对特定高质量数据降低传统启发式过滤器处理权重，提高了数据库高质量Token的数量，还不会损害模型精确度。
出色的性能表现
与目前业界领先的公开英文训练数据库DCLM相比，使用Nemotron - CC - HQ训练的模型在MMLU基准测试中的分数提高了5.6分。进一步测试显示，使用Nemotron - CC训练的80亿参数模型在MMLU基准测试中分数提升5分，在ARC - Challenge基准测试中提升3.1分，在10项不同任务的平均表现中提高0.5分，成功超越了基于Llama 3训练数据集开发的Llama 3.1 8B模型。
英伟达已将Nemotron - CC训练数据库在Common Crawl网站上公开，相关文档文件也会在稍晚时候于英伟达的GitHub页中公布。这对于学术界和企业界的小伙伴们来说，无疑是个超级利好消息，又有强大的工具来推动大语言模型的训练进程啦！ ai创造营 [彩虹屁]
