字节专家：

1.Agent 任务放量，算力消耗强度远超普通对话，单任务 GPU 资源消耗为普通对话的 25-50 倍，主要源于多轮工具调用、上下文反复读取和更长思考链。

2.文本与 Agent 任务的架构演进方向明确，即 Prefill/Decode 分离 KV Cache 中心化，中心化后显存利用率理论上可从 96% 提升到接近 100%，且同一套 KV Cache 可供五到六台机器复用。

3.不同任务优化路径不同，在线文本对话受限于 HBM 带宽与低延迟，靠 PagedAttention、服务架构等吞吐优化；Agent 应用受限于 KV Cache 与长上下文，靠工具复用、前缀复用、历史摘要剪裁与会话压缩等软件手段。

4.KV Cache 的调度效率与存储命中率是文本模型推理成本优化的关键，分层存储（HBM/DDR/SSD）落地困难，可行路径是细粒度分块迁移加预取，成效取决于预取窗口与热度预测模型的准确性。

5.中短期内成本优化主要靠软件，硬件侧同步扩充算力供给，包括非传统渠道获取 GPU、租赁 B300/B200 等最新型号，以及国产卡替代。

6.国产芯片处于''可用但仍有cha距''阶段，昇腾 910C 在 DeepSeek V4 Pro (FP8)下 Decode TPM 为 1.2 兆，约为 H卡的一半；昇腾 950 PR 与寒王690 定位介于 H800 与 H200 之间；国产训练卡主要用于视频与 3D 模型推理。

7.大参数模型训练放缓，存储需求结构转移。参数增大的边际收益降低、下游管线绑定特定模型，加上高质量文本数据基本耗尽；Agent 增长显著拉动 DRAM 需求，但 SSD 在纯文本推理中只是配角，训练侧存储需求正逐步下降。