股东:在播客节目里面,你提到理想自研的芯片会进入家庭计算中,是随口一说吗?能不能分享一下你关于这点的思考?
李想:这段时间我在学AI的时候,也一直在搞本地化部署。当我试着在32G内存的Mac Book上做本地化部署,跑26B的模型,会遇到一个问题是:上下文的窗口不够用了,并且机器变得非常慢。
大家过去总认为,在一台Mac上配一个更大的存储就可以运行了,结果发现根本不行。后来我就专门买了英伟达新出的GB 10来做部署,我们也拿自己的芯片做了对比,发现我们芯片的性能并不比英伟达差。
只是这一代芯片产品我们没机会做了,但是下一代产品,我们会从设计的时候就把家庭的计算中心放入到芯片的设计中,数据流架构用于做推理的效率非常高。下一代芯片,如果我们拿同样的算力跑同样的模型,我们应该可以在和GB 10差不多的成本下做到6-10倍的性能。当然,后面英伟达也会进步,我们也会及时持续优化。
买我们的高端车的用户,未来家里大概率都需要一个AI计算中心。比如做机器人,我们自己在做,很多同事出去也在做。在机器人身上放一块大算力芯片,机器人的电池根本就不够用,因为机器人只能在胸腔放一块很小的电池。这些算力未来也会是家里各种机器人所需要的必要算力。
我认为这是一套东西,车、机器人等没有本质区别,跑的都是模型,搬运的都是数据。所以我们在进行下一代芯片设计的时候,会把家庭计算中心、车、机器人所需要的算力,都会集中在一起,再进行优化和设计。
