众力资讯网

我现在跑全精度Qwen3.8 27B BF16,显存占用74G,每秒的token在50左右,效果惊人,真不是量化能比的。以前一直在跑Q8,这回算是吃上细粮了,体验直接拉满。这样效果的本地生产,其实已经超过一些闭源模型了,因为闭源不可能给你开BF16。 ​

我现在跑全精度Qwen3.8 27B BF16,显存占用74G,每秒的token在50左右,效果惊人,真不是量化能比的。以前一直在跑Q8,这回算是吃上细粮了,体验直接拉满。这样效果的本地生产,其实已经超过一些闭源模型了,因为闭源不可能给你开BF16。 ​