字节专家: 1.Agent 任务放量,算力消耗强度远超普通对话,单任务 GPU 资源消耗为普通对话的 25-50 倍,主要源于多轮工具调用、上下文反复读取和更长思考链。 2.文本与 Agent 任务的架构演进方向明确,即 Prefill/Decode 分离 KV Cache 中心化,中心化后显存利用率理论上可从 96% 提升到接近 100%
字节专家:
1.Agent 任务放量,算力消耗强度远超普通对话,单任务 GPU 资源消耗为普通对话的 25-50 倍,主要源于多轮工具调用、上下文反复读取和更长思考链。
2.文本与 Agent 任务的架构演进方向明确,即 Prefill/Decode 分离 KV Cache 中心化,中心化后显存利用率理论上可从 96% 提升到接近 100%