【DeepSeek开源DeepGEMM】2月26日上午消息,DeepSeek

半烟评科技 2025-02-26 10:27:50

【 DeepSeek开源DeepGEMM 】2月26日上午消息,DeepSeek开源周(OpenSourceWeek)第三日,在宣布开源MLA解码核FlashMLA以及DeepEP两款代码库后,DeepSeek今日再次宣布开放了DeepGEMM代码库。

据DeepSeek方面介绍,DeepGEMM是专为简洁高效的FP8通用矩阵乘法(GEMMs)而设计,它同时支持普通的和专家混合(MoE)分组的GEMM运算。该库使用CUDA编写,在安装过程中无需编译,通过在运行时使用轻量级即时编译模块来编译所有内核。

目前,DeepGEMM仅支持英伟达Hopper架构运算,为解决FP8张量核心累加不精确的问题,它采用了CUDA核心的两级累加(提升)方法。该代码库设计非常简洁,只有一个核心内核函数,代码量约为300行。(新浪科技)

0 阅读:0
半烟评科技

半烟评科技

感谢大家的关注