AI算力下一战,真正的主角出现了!
行业群里转来消息,海光与天翼云联合创新分中心揭牌成立了,借着这事,我倒想起前段时间海光在中国联通合作伙伴大会上讲过的一件事:词元经营。
当时关注的人不少,但真把AI业务拆开看,会发现这笔账确实不好算。
比如让智能体查资料、调用工具,再写一份报告,表面上只是一个任务,后台却要经历多轮模型推理、任务调度、记忆管理和数据访问。模型越能干,系统要协调的事情越多。
海光的词元经营双芯加速方案,恰好把这些活分开了。CPU负责Agent编排、工具调度和记忆管理,DCU负责并行计算、批量解码和KV Cache优化。缓存利用得好,模型就能少做重复计算,同样的算力也有机会生产更多Token。
这次天翼云分中心成立,给双方继续研究这类问题提供了长期平台。除了现有云产品调优,双方还将推进海光智算、CXL/HSL新型互连等技术研究,重点改善大规模集群里的数据流动和资源利用。
这几件事放在一起就有意思了。
海光负责把Token生产效率往上抬,天翼云有真实AI业务和云平台运营场景,双方可以围着实际负载反复优化。以后AI服务拼成本,光看加速卡恐怕真不够了。海光信息 天翼云 词元经济
