之前我给 NAS 装了一块 RTX A3000 LP 12G 显卡,发文分享后评论区炸了----"NAS 装显卡有什么用""跑跑 ComfyUI 就到头了吧""浪费钱"。
说实话,之前跑 ComfyUI 画图、训练 LoRA,确实把这块卡的"画图属性"发挥得差不多了。但大模型时代,我总觉得这块卡还能再往上顶一顶。于是我做了一个大胆的决定:在 NAS 上跑 27B 参数的大语言模型 Qwen3.8-27B。
27B,273 亿参数,塞进 12G 显存的 NAS 里跑----听起来有点疯。但我就是想证明一件事:这张卡不是摆设。结果嘛......能跑是能跑,就是跑出了一个问题。往下看。
为什么选 Qwen3.8-27B说实话,真实原因就一个:最近网上到处都在吹 Qwen3.8-27B,说它如何如何强,MoE 架构多先进,小显存也能跑。看得多了,我也按捺不住,想亲自试试到底是不是真的那么神。
当然,选它而不是别的模型,也有几个实际考量:
Qwen3.8-27B 是 MoE 架构。 27B 是总参数量,但每次推理只激活其中一部分,所以理论上小显存也能加载。如果换成同等参数量的 Dense 模型,12G 显存想都别想。
它还支持多模态。 不仅能聊天,还能看图,这就比纯文字模型多了一层玩法。我部署的版本是 Qwen3.8-27B-UD-IQ3_XXS,量化后只有 10.93GB,刚好卡在 12G 显存的边界线上。
图1:unsloth/qwen3.8-27B-gguf 模型量化版本列表,橙色高亮的就是我选的 IQ3_XXS 版本
多模态部署有个额外的坑:如果你还想让它看图,光下主模型不够,还得配一个视觉投影文件 mmproj-F16.gguf(927MB)。如果只做文字聊天,主模型单独就能跑,mmproj 不是必需的。用好 Router 模式的话,把 mmproj 和主模型放在同一子目录,命名为 mmproj-*.gguf,启动时自动绑定,无需额外参数。投影文件和量化版本互相独立,不管你用 Q4 还是 IQ3,都共用同一个 mmproj。
硬件家底:能跑 27B 的底子先亮一下我这台 NAS 的全部家底:
部件
型号
关键参数
CPU
Intel Xeon D-1521
4 核 8 线程 @ 2.40GHz
内存
DDR3 2133
4 × 8G = 32G
显卡
RTX A3000 LP
12G 显存,Ampere 架构
主板
超微 X10SDV-4C-TLN2F
服务器级低功耗平台
图2:Xeon D-1521,4 核 8 线程,服务器级低功耗 CPU
这台机器本来是当 NAS 用的,CPU 是低功耗服务器 U,主频不高。显卡是后加的,所以整个平台其实是"弱 CPU + 中等显卡 + 大内存"的组合。这个组合跑大模型有没有戏?往下看。
Docker 部署:从拉模型到跑起来部署用的是 llama.cpp 的 Docker 版(server-cuda),Docker Compose 一把梭。最终配置如下:
services:
llama-cpp:
image: ghcr.nju.edu.cn/ggml-org/llama.cpp:server-cuda
container_name: llama-cpp
restart: always
environment:
- CUDA_SCALE_LAUNCH_QUEUES=4
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities:
- gpu
volumes:
- /vol1/1000/Models/llama_models:/models:ro
command: >
--models-dir /models
--host 0.0.0.0
--port 11534
--ctx-size 0
--n-gpu-layers 35
--cache-type-k q4_0
--cache-type-v q4_0
--flash-attn on
--threads 4
--batch-size 512
--ubatch-size 512
--models-max 1
--timeout 60
--jinja
--no-mmproj-offload
--no-mmap
networks:
- default-bridge
expose:
- "11534"
networks:
default-bridge:
external: true
name: global-network几个关键参数解释一下:
--n-gpu-layers 35:35 层放 GPU,其余留 CPU。12G 显存的极限值,实测出来的。--cache-type-k/v q4_0:KV 缓存量化,大幅省显存。--threads 4:用物理核数量而不是线程总数。Xeon D-1521 是 4 核 8 线程,超线程做 LLM 推理容易线程争抢,实测 4 比用满 8 线程更稳。--no-mmproj-offload:投影器放内存不放显存,多模态图片对话不 OOM 的关键。--no-mmap:禁用内存映射,模型一次性载入内存,减少磁盘 IO 抖动。32GB 内存充足,加得上。--ctx-size 0:自动读取模型内置上下文。Qwen3.8-27B 原生支持 26 万 token 上下文。关于网络访问:配置里用的是 expose + Docker 自定义网络(global-network),而不是 ports 端口映射。因为我的其他服务也在这个网络里,容器之间直接走内网访问,不需要把端口暴露到宿主机。如果你的前端界面不在同一个 Docker 网络里,需要把 expose 换成 ports: - "11534:11534" 做端口映射。
踩坑:最初 --n-gpu-layers 50,27B 模型 + 12G 显存根本塞不下,直接报错。最终调到 35 层才稳。
实测第一轮:30 层 GPU,1.17 token/s先上了 30 层,留了余量。跑起来后监控了 CPU、GPU、内存三项资源。
图3:CPU 利用率推理时冲到接近 100%,平均负载 3.71。Xeon D-1521 四个核在拼命
图4:显存占用 10.17GB / 12GB,利用率 85%,还剩 1.83GB 余量
图5:32GB 内存只用了 10.78GB,可用 20.47GB,内存完全不是瓶颈
模型确实跑起来了。问了一句"你是谁?",回答很标准----"我是通义千问"。
图6:73 个 token 用时 1 分 2 秒,速度 1.17 token/s
1.17 token/s,什么概念?你问一句话,等 1 分多钟才回完。看完一本书要等到天黑。
但诊断信息有意思:GPU 利用率大部分时间是 0%,只有短时尖峰。说明大部分计算层还在 CPU 上跑,显卡算力没吃满。显存还有 1.83GB 余量----可以继续往 GPU 塞层。
优化第二轮:35 层 GPU,1.41 token/s把 GPU 层数从 30 拉到 35,显存基本到顶了。
图7:CPU 利用率推理时仍然冲到 95%-99%,温度 68-72℃
图8:内存利用率 31%,可用 21.07GB,内存毫无压力
图9:显存 11.45GB / 12GB,只剩 561MB,利用率 95%----到天花板了
图10:59 个 token 用时 41 秒,速度 1.41 token/s,比第一轮略有提升
速度从 1.17 涨到 1.41 token/s,提升了约 20%。有用吗?聊胜于无。等 41 秒回一句话和等 62 秒,体感差不多----都很慢。
但日志里有个关键发现:
图11:llama.cpp 运行日志,红色标注处是关键警告
日志中有一条警告特别扎眼:
W resolve_fused_ops: layer 0 is assigned to device CPU but fused Gated Delta Net (chunked) is assigned to device CUDA0 (usually due to missing support) W resolve_fused_ops: fused Gated Delta Net (chunked) not supported, set to disabled
翻译一下:Qwen3.8 用了一种叫"Gated Delta Net"的融合算子,但 llama.cpp 当前版本在 CUDA 上不支持,直接禁用了。这意味着部分本该 GPU 加速的计算回退到了 CPU----这就是 GPU 利用率上不去的核心原因。
瓶颈分析:为什么 12G 显卡跑 27B 这么慢把两轮数据摆一起看,瓶颈很清楚:
指标
第一轮(30层)
第二轮(35层)
变化
GPU 显存占用
10.17GB / 85%
11.45GB / 95%
+1.28GB,到顶
GPU 利用率
大部分 0%
大部分 0%
没变
CPU 利用率
峰值 ~100%
峰值 ~100%
没变
推理速度
1.17 t/s
1.41 t/s
+20%
三层瓶颈叠在一起:
1. CPU 是最大拖累。 Xeon D-1521 是 4 核 8 线程的低主频服务器 U,单核性能弱。35 层放 GPU 后还剩十几层在 CPU 上,这些层每次推理都要算,直接拖慢整体速度。
2. 融合算子不支持。 Gated Delta Net 被禁用后部分 GPU 层回退 CPU,显卡算力浪费了一截。这不是我改参数能解决的,得等 llama.cpp 更新。
3. 内存带宽不够。 DDR3 2133 是十年前的规格,内存到 GPU 的数据传输带宽本身就窄。MoE 架构虽然激活参数少,但每次激活都要从内存搬数据,DDR3 带宽成了隐形天花板。
显存已经到顶(561MB 余量),再加 GPU 层就 OOM;CPU 算力固定改不了;算子兼容得等上游更新。调参的天花板大概在 1.4-2.2 t/s 之间,不会有质变。
诚实结论:能跑 ≠ 能用回到开头的问题:NAS 装显卡到底有没有用?
有用,但别指望 27B。
能跑起来,截图为证,273 亿参数的大模型确实在我这台 12G 显存的 NAS 上跑通了。但 1.4 token/s 的速度摆在这,说句大实话:这个速度只够学习验证和尝鲜体验,真要当生产力工具----等一句话回 40 秒,你用吗?
给同样想折腾的朋友三个建议:
想体验大模型,7B-14B 是 NAS 甜点。 14B 在 12G 显存下几乎全层 offload 到 GPU,预计 6-10 t/s,体感流畅得多,日常对话能力差距不大。CPU 比你想的重要。 我这台 Xeon D-1521 单核太弱是硬伤。如果你的 NAS 是 J4125、N100 这类更弱的 CPU,跑 27B 会更惨。反过来,如果 CPU 强一点,CPU 层跑得快,整体速度会好不少。多模态是真的能玩。 虽然速度慢,但给模型发一张图让它分析,确实能看懂----这是 7B/14B 纯文字模型做不到的。如果你只是想体验"NAS 上的多模态 AI",27B 可以跑着玩。最后回答评论区那个问题:NAS 装显卡有没有用?有用,ComfyUI 画图、LoRA 训练、大模型推理都能跑。但 27B 这种级别的模型,确实不是 12G 显存 + 弱 CPU 该碰的----我替你们试过了,能跑,但别期待速度。
下一期我准备换成 Qwen3.8-14B 再跑一轮,看看降到 14B 后速度能提升多少,敬请关注。
本文基于 2026-09 实际部署测试整理。硬件:RTX A3000 LP 12G / Xeon D-1521 4C8T / 32GB DDR3 / Docker + llama.cpp server-cuda。
FnOS #NAS #家庭服务器 #Docker #AI部署 #折腾党 #Qwen #大模型本地部署