「AI」「网图」又有一位老哥分享了他开源的项目，把180B的模型装进3090，速度还跑到了38 token/s，我让AI分析了架构，人们的创意真是无限。其实现在我严重不缺聊天框式的本地语言模型，缺的刚好是能够装进本地编程Agent、有足够性能和速度的语言模型。
「AI」「网图」又有一位老哥分享了他开源的项目，把180B的模型装进3090，速度还跑到了38 token/s，我让AI分析了架构，人们的创意真是无限。其实现在我严重不缺聊天框式的本地语言模型，缺的刚好是能够装进本地编程Agent、有足够性能和速度的语言模型。
