众力资讯网

法律二八一八六,关于TPU。 1、TPU,Tensor Processing U

法律二八一八六,关于TPU。
1、TPU,Tensor Processing Unit,张量处理单元。是谷歌自研的专用ASIC芯片(专用集成电路),专门为深度学习、大模型的张量/矩阵乘法运算设计的AI加速芯片,2015年正式在谷歌数据中心投入使用。
2、核心要点。
(1)张量(Tensor)就是AI模型里面大量的多维矩阵,大语言模型、神经网络绝大部分计算就是矩阵相乘。TPU内部采用脉动阵列架构,流水线式批量做矩阵运算,做AI训练、推理的能效很高。
(2)定位:数据中心芯片,不是电脑显卡,个人电脑、手机上一般看不到TPU。
- 早期TPU只做推理;后面v2、v3开始同时支持模型训练 + 线上推理;
- 谷歌Gemini、AlphaGo、AlphaFold都是用TPU集群跑出来的。
3、和GPU的对比。
(1)GPU:通用性强,图形渲染、科学计算、AI都能干,现在大模型行业主流。
(2)TPU:专一做AI张量计算,在大规模大模型集群场景功耗、成本更有优势,但通用性弱,主要适配谷歌生态(JAX、TensorFlow)。