众力资讯网

端午假期在电脑上用llama.cpp跑DeepSeek v4 Flash,改llama.cpp、优化算子提升性能,也算是一种边开车边修车了。decode提升起来挺难的,但prefill的提升真多啊。也是没想到(我一直以为)挺成熟的软件了,还能有这么大优化性能的空间(甚至我有好多算子还没碰) ​

端午假期在电脑上用llama.cpp跑DeepSeek v4 Flash,改llama.cpp、优化算子提升性能,也算是一种边开车边修车了。decode提升起来挺难的,但prefill的提升真多啊。也是没想到(我一直以为)挺成熟的软件了,还能有这么大优化性能的空间(甚至我有好多算子还没碰) ​