【[189星]prima.cpp：在普通家用设备上轻松运行700亿参数规模的超大

爱生活爱珂珂 2025-04-16 19:38:07

【[189星]prima.cpp：在普通家用设备上轻松运行700亿参数规模的超大语言模型。亮点：1. 低资源消耗，内存压力低于10%；2. 速度提升15倍，推理速度可达每秒1.5个token；3. 支持多种设备，包括电脑、手机和平板，无需GPU也能运行】

'prima.cpp: Speeding up 70B-scale LLM inference on low-resource everyday home clusters'

GitHub: github.com/Lizonghang/prima.cpp

分布式推理 低资源AI 高性能计算 AI创造营

0 阅读：0

猜你喜欢

爱生活爱珂珂

爱生活爱珂珂

感谢大家的关注

作者最新文章

1
【[29星]awesome-llm-pretraining：为大语言模型预训练提
2
【[33星]PDX：一种垂直数据布局，让向量搜索速度飞起来！核心价值：通过高效的
3
【[126星] Kubernetes MCP Server：为Kubernete
4
【[45星]TT-Forge：Tenstorrent的MLIR基础编译器，为AI
5
【[174星]Cubed：为大规模数组处理提供内存可控、可扩展的高效解决方案。亮
6
【[860星]local-ai-packaged：一站式本地AI集成解决方案，让
7
【[216星]ClickHouse/mcp-clickhouse：为ClickH
8
【[36星]Ring：由InclusionAI开源的推理型MoE大语言模型，助力
9
转发赠书携手送出3本《知识增强大模型》，截止2025.5.3 12:00，*可可
10
早！[太阳] 早安 ​​​

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

科技TOP

1
说刘强东作秀的，你们让王兴也秀一个噻，或者你们自己做一天体验一下。一个千亿身价的
2
这么老的苹果还在用​​​
3
六款小屏旗舰，大家喜欢哪一款？[吃瓜]​​​
4
小米汽车小米YU9路试谍照&渲染图小米YU9路试谍照&渲染图，大家
5
苹果总部首席工程师孔龙已回国！有点遗憾的是，正值国家缺乏半导体人才之际，孔龙不是
6
我知道，都是大屏的问题🙊​​​
7
孔龙自美归国苹果的首席工程师都回国了！这个孔大佬可是牛啊，在苹果搞出了三款芯片，
8
小姐姐用的是哪款iPhone？感觉这机型用很多年了吧？​​​
9
雷军脑瓜子嗡嗡的了！又一场事故夺命事故发生，车速150公里每小时。速度至上的小米
10
预算2000元适合买什么手机？这次机型供参考，性价比和当年小米1999不相上下。

科技最新文章

1
董明珠不用留学生的看法，大v们反对的不少，然而普通网民却支持的居多
2
荣耀GTPro对比标准版升级点汇总！处理器大幅升级！从骁龙8G3跳跃到超频版骁龙
3
小红书取消大小周！互联网“卷王”时代终结？当字节跳动员工还在为“加班申请系
4
为什么最近不少公司取消大小周，背后的原因是什么？小红书将取消大小周​​​
5
京东到底是道德绑架还是真的揭露了美团是个吸血鬼呢？1、京东给美团算的帐是否符
6
这么仔细一对比，荣耀GTPro这不妥妥旗舰大平替么~性能表现比Magi
7
刘强东请兄弟们喝的酒，我去查了下价格，不查不知道，一查吓一跳！一桶6.18
8
机器人运动会即将开幕，板块迎来重大机遇！！！全国首届具身智能机器人运动会将于4月
9
又一款超7000mAh电池容量的新机上市，极限续航超过12小时，红米Turbo4
10
昨天转网，10086电话如潮水般涌来！我昨天携号转网从移动转到了新运营商，今