大模型聊天输出文字的解码阶段，GPU算力基本处于摸鱼状态，算力利用率经常不到20%，真正卡死速度的只有显存带宽。每生成一个新字词，都要反复读取几十GB模型权重，芯片算得再快，数据传不过来照样卡住。说白了日常用户体感的AI快慢，本质不是算力高低，就是带宽大小决定上限，算力再堆也很难突破带宽天花板。