本地AI硬件 = 显存容量 × 内存带宽 × 软件栈
• 显存容量：决定你能加载多大模型
• 内存带宽：决定硬件数据吞吐上限（类比设备“换气效率”）
• 软件栈：决定硬件标称性能有多少能真正落地发挥
按内存带宽排序硬件
• Mac Studio M3 Ultra：最高512GB统一内存，带宽819GB/s
• RTX PRO 6000（Blackwell架构）：96GB显存，带宽1792GB/s
• RTX 5090：32GB显存，带宽1792GB/s
• RTX 4090：24GB显存，带宽1008GB/s
• RX 7900 XTX：24GB显存，带宽960GB/s
• Radeon PRO W7900：48GB显存，带宽864GB/s
• AMD Radeon AI PRO R9700：32GB显存，带宽640GB/s
• Intel Arc Pro B65：32GB显存，带宽约608GB/s
• Tenstorrent Wormhole n300：24GB显存，带宽576GB/s
• Tenstorrent Blackhole p150：32GB显存，带宽512GB/s，搭配800G高速互联
• MacBook Pro M5 Max：带宽460–614GB/s
• MacBook Pro M5 Pro：带宽307GB/s
• DGX Spark：128GB统一显存，带宽273GB/s（支持显存一致性+CUDA生态）
• Mac mini M4 Pro：带宽273GB/s
• 锐龙AI Max / 华硕Strix Halo：带宽约256GB/s，显卡可用显存约96GB
• MacBook Air M5：带宽153GB/s
• 骁龙X2 Elite：带宽152–228GB/s
• Intel月湖（Lunar Lake）：带宽136GB/s
• 骁龙X Elite：带宽135GB/s
• Mac mini M4：带宽120GB/s
• Arc Pro B60：24GB显存，带宽约456GB/s
结论点评
1. 显卡依旧是内存带宽性能天花板
2. 苹果优势：单机超大统一内存，无需多卡分片拆分模型
3. 苹果短板：追求极致每秒生成Token数、高并发场景时性能乏力
4. DGX Spark：显存一致性内存架构 + 完整英伟达软件生态
5. 华硕Strix Halo / 锐龙AI Max：首款成熟x86平台统一内存方案
6. Tenstorrent：全开源软件栈，值得期待后续生态成熟
能装下 ≠ 能稳定推理
就算硬件显存能放下模型，运行时仍会产生额外性能开销：
• 解码阶段带宽占用
• KV缓存持续扩容开销
• 模型反量化运算损耗
• 批量推理与多并发负载
• 调度器调度效率损耗
• AI框架本身运行开销
选购核心思考框架（仅三条关键逻辑）
1. 模型、缓存等必须加载的最小显存需求是多少？
2. 业务场景需要哪一档带宽性能？
3. 配套软件栈能否完整释放硬件性能？
极简选购总结
• 英伟达：原始运算速度最快
• Mac Studio M3 Ultra：单设备内存容量天花板
• 华硕Strix Halo：首款成熟x86统一内存主机
• DGX Spark：带统一显存的英伟达专业开发设备
• AMD / Intel Arc：性价比持续提升的替代方案
• Tenstorrent：全套开源软件生态硬件
选购正确思路
该问：我当前业务的性能瓶颈是什么？
而非：哪款硬件综合性能最强？
术语注解（便于理解）
1. unified-memory：统一内存，CPU与显卡共享同一片内存空间
2. coherent memory：一致性显存，多芯片间内存数据实时同步无延迟
3. shard：模型分片，大模型拆分至多块显卡运行
4. KV cache：大语言推理核心缓存，占用显存随对话长度持续增长
5. dequantization：反量化，低精度量化模型推理时还原精度的运算
6. OSS stack：开源软件栈
7. token：文本最小运算单位，tokens/sec即每秒生成文字速度
