Kijai 上传了 MiniMax-H3 的 w4a8_mixed 这种量化版本。这个东西大小是 12.5GB,相当于 4bit,但通过各种巧妙改进来提升精度。看比较视频,普通的 4bit 会明显劣化,而 w4a8_mixed 几乎没怎么劣化。生成速度对比 int8_convrot 没有优势,反而稍微慢一点。嘛,对于 VRAM 不够用的人来说,用这个可能更好。

Kijai 上传了 MiniMax-H3 的 w4a8_mixed 这种量化版本。这个东西大小是 12.5GB,相当于 4bit,但通过各种巧妙改进来提升精度。看比较视频,普通的 4bit 会明显劣化,而 w4a8_mixed 几乎没怎么劣化。生成速度对比 int8_convrot 没有优势,反而稍微慢一点。嘛,对于 VRAM 不够用的人来说,用这个可能更好。
