Kijai 的 Minimax H3 压缩模型权重
他通过将模型权重压缩到 4 位(节省了大量空间)来实现这一点,但使用 8 位进行计算(保持快速和准确),采用一种名为 AsymW4A8Int8Layout 的特殊布局
网页链接