近来国产大模型替代英伟达的相关讨论再度升温，为什么美团的1.6万亿参数大模型能在国产算力卡上训练完成，Deepseek却被认为难度很高？今天咱们就把大模型训练背后藏着的各类核心门道，给大家完完整整讲清楚。
大模型生产分三个核心环节：预训练、后训练、推理，其中预训练的门槛比后训练高 3 倍，是最核心的难点。
预训练总共要经过四个核心环节：完成前向计算、核算损失值、执行反向传播、迭代更新模型参数。反向传播的计算量是前向的 2 倍，每处理一个词源，训练的算力消耗就是推理的 3 倍。
显存差距更直观：推理时，1.6 万亿参数模型用 FP8 格式存储，仅需 1.6TB，十几张 144GB 显卡就能装下；但训练时，要同时存权重、梯度、优化器状态，总需 25TB，得近 200 张卡才能放下。
除此之外还存在通信与稳定性层面的明显缺陷：任务拆分到数万张加速卡执行时，每轮计算都要同步梯度，卡的总数越多，通信承载的压力就越高。Meta在训练Llama3的过程中，54天内意外中断共计419次，平均每3小时就出现一次故障，预训练流程只要被打断，就必须从上一个已存的检查点重新启动。
早期国产加速卡的短板十分突出：首先是软件算子层面，英伟达Cuda生态下的算子无法直接复用，昇腾的算子覆盖度不足，大量内容需要开发者手动编写。
这两年短板在快速补齐：集群从几百卡升到上万卡的超节点，互联和容错升级；新一代昇腾 950补上了 FP8 计算单元，单卡显存、带宽都大幅提升，现在通用大规模训练已经能接得住。
大家为什么单单把DeepSeek挑出来，专门讨论说它的落地难度很高？它的模型设计思路十分激进，完全是围绕英伟达的硬件来量身定制的。举例来说，MOE混合专家被拆分得格外细碎，每个词仅激活8个专家，跨卡来回传输的通信负担极大。
还有注意力计算改了好几种写法，为了省显存和算力，把 KV 缓存压缩，结果计算变零碎，得专门写高性能算法，还盯着英伟达 Hopper 架构抠，甚至用到比 CUDA 更底层的指令，超出了英伟达官方文档的保证范围。
昇腾和英伟达的架构不一样：英伟达是 SIMT 架构，矩阵计算和通用计算在同一个核心，早年昇腾达芬奇架构把这两个单元分开，Vector 单元只支持规整数据，Deepseek 的零碎活吃了大亏。
当下迎来新机遇：Deepseek开放了适配昇腾的基础组件源码，华为昇腾950补齐内部数据通路与混合编程支持，今年第四季度推出的超节点正好可以匹配Deepseek的模型。
国产大模型全面迁移到国产算力卡是必然趋势，连原本围绕英伟达开发的Deepseek模型都能适配昇腾，意味着昇腾来到发展拐点，不过并非插卡就能直接运行，双方仍需持续优化。
在你看来，Deepseek V5是否可以完全依托昇腾芯片来完成预训练相关工作？欢迎各位在评论板块分享自己的观点。近来国产大模型替代英伟达的相关讨论再度升温，为什么美团的1.6万亿参数大模型能在国产算力卡上训练完成，Deepseek却被认为难度很高？今天咱们就把大模型训练背后藏着的各类核心门道，给大家完完整整讲清楚。
大模型生产分三个核心环节：预训练、后训练、推理，其中预训练的门槛比后训练高 3 倍，是最核心的难点。
预训练总共要经过四个核心环节：完成前向计算、核算损失值、执行反向传播、迭代更新模型参数。反向传播的计算量是前向的 2 倍，每处理一个词源，训练的算力消耗就是推理的 3 倍。
显存差距更直观：推理时，1.6 万亿参数模型用 FP8 格式存储，仅需 1.6TB，十几张 144GB 显卡就能装下；但训练时，要同时存权重、梯度、优化器状态，总需 25TB，得近 200 张卡才能放下。
除此之外还存在通信与稳定性层面的明显缺陷：任务拆分到数万张加速卡执行时，每轮计算都要同步梯度，卡的总数越多，通信承载的压力就越高。Meta在训练Llama3的过程中，54天内意外中断共计419次，平均每3小时就出现一次故障，预训练流程只要被打断，就必须从上一个已存的检查点重新启动。
早期国产加速卡的短板十分突出：首先是软件算子层面，英伟达Cuda生态下的算子无法直接复用，昇腾的算子覆盖度不足，大量内容需要开发者手动编写。
这两年短板在快速补齐：集群从几百卡升到上万卡的超节点，互联和容错升级；新一代昇腾 950补上了 FP8 计算单元，单卡显存、带宽都大幅提升，现在通用大规模训练已经能接得住。
大家为什么单单把DeepSeek挑出来，专门讨论说它的落地难度很高？它的模型设计思路十分激进，完全是围绕英伟达的硬件来量身定制的。举例来说，MOE混合专家被拆分得格外细碎，每个词仅激活8个专家，跨卡来回传输的通信负担极大。
还有注意力计算改了好几种写法，为了省显存和算力，把 KV 缓存压缩，结果计算变零碎，得专门写高性能算法，还盯着英伟达 Hopper 架构抠，甚至用到比 CUDA 更底层的指令，超出了英伟达官方文档的保证范围。
昇腾和英伟达的架构不一样：英伟达是 SIMT 架构，矩阵计算和通用计算在同一个核心，早年昇腾达芬奇架构把这两个单元分开，Vector 单元只支持规整数据，Deepseek 的零碎活吃了大亏。
当下迎来新机遇：Deepseek开放了适配昇腾的基础组件源码，华为昇腾950补齐内部数据通路与混合编程支持，今年第四季度推出的超节点正好可以匹配Deepseek的模型。
国产大模型全面迁移到国产算力卡是必然趋势，连原本围绕英伟达开发的Deepseek模型都能适配昇腾，意味着昇腾来到发展拐点，不过并非插卡就能直接运行，双方仍需持续优化。
在你看来，Deepseek V5是否可以完全依托昇腾芯片来完成预训练相关工作？欢迎各位在评论板块分享自己的观点。