众力资讯网

加载bf16版的模型,最后速度能降到一秒2 token……[允悲] 我直接有点整无语了。[融化] 51.7GB啊……拿什么拯救你,我的显存……[苦涩] 连48gb显存都带不动啊…… ​

加载bf16版的模型,最后速度能降到一秒2 token……[允悲] 我直接有点整无语了。[融化] 51.7GB啊……拿什么拯救你,我的显存……[苦涩]

连48gb显存都带不动啊…… ​