同一个 3B，树莓派5 和 RK3588 差 2.7 倍
你要在 3B 这个档位挑板子，先记住这两个数。
⚡ 同一个 3B 量化（Q4_K_M）：树莓派5 出 2.8 tok/s，RK3588 出 7.6 tok/s，差 2.7 倍。
⚡ RK3588 那个 7.6 是室温 25℃ 满载半小时测的，首 token 1.8 秒，内存吃 2.8G。往上一档就废了，8B 加载完直接 OOM，对话框都点不出来。
📌 树莓派5 的甜点档不在 3B，在 0.5B：22 tok/s，提字段、跑结构化输出很丝滑，整机功耗 5W 出头。丢车间角落一个月不用管。
📌 RK3588 这个速度做不了聊天，做设备说明书问答刚好。客户那套问答跑了一周，老师傅没嫌慢，就是每次回复前等两秒。
⚠️ 两个坑先记住：树莓派5 8G 内存跑 3B 加 4K 上下文就到头；RK3588 的 NPU 不支持通用 transformer 算子，只能 CPU 加 GPU 硬算，别指望 NPU 救你。
📋 3B 档选型卡（存图）
3B 出字 ｜ 树莓派5 2.8 tok/s ｜ RK3588 7.6 tok/s
首 token ｜ 树莓派5 未测 ｜ RK3588 1.8 秒
3B 内存 ｜ 3B+4K 就到头 ｜ 2.8G / 8G
整机功耗 ｜ 5W 出头 ｜ 15W
我们做指环那边也是同一笔账：先把模型档降下去，别先想着换硬件。
到现在也没调出理想的交互速度，跑点小活够用了。
你们那条线现在跑的是 3B 还是 7B？报一个，我把没测的格子补上。
九地AI说