DeepSeek自我顿悟和进化- 生成对抗和蒸馏模型降低成本 1 DeepSeek.不只直接用外来的数据，也自己生成数据来迭代。开始用了OPENAI的开源数据。很多用于训练的数据要购买，成本高。这对出售训练数据公司不是好消息，很多出售数据的公司雇人对数据打标记。 2 用了生成对抗模型，自己与自己比，与其他模型对比测试，这就有了自主成长。 3 蒸馏模型，用了其他大模型的软标签，对照测试，降低了成本。 4 意义不只成本，而是大模型可以自己成长和进化。 5 有个美国卖测试数据的公司创办人，认为幻方公司拥有5万张英伟达H100。一次训练是2千万美元，而不是600万美元，低成本是神话。 e
DeepSeek自我顿悟和进化-生成对抗和蒸馏模型降低成本 1DeepSee
糖果杠历史
2025-01-28 15:34:28
0
阅读：2
