最开始大模型是训练和推理都在超级计算机上进行的然后有一帮技术极客想在自己的电脑上跑大模型GPTQ 解决的是：“普通显卡也能跑模型。”AWQ 解决的是：“量化后别变傻。”GGUF 解决的是：“没有 GPU 也能本地 AI。”EXL2 解决的是：“推理速度必须足够快。”MLX 解决的是：“Apple Silicon 如何成为 AI 设备。”然后怎么让手机这种小设备也能跑大模型VMLX 解决的是：“模型怎么真正进入终端世界。” 西安·MFG(西安永利国际金融中心)