众力资讯网

OpenAI发现一种推理成本减半的方法?!

据The Information报道,OpenAI找到了一种方法,可以让未登录账号的免费用户在使用ChatGPT时,模型运行成本直接减少一半以上。

据内部消息,OpenAI研发团队通过新的优化技术,实现了运行AI的显卡数量显著下降。这些优化技术可能涉及quantization量化、keyvalue缓存、批处理执行和智能分流到低功耗模型等等多种手段。具体细节OpenAI目前并未透露。