小鹏后装算力测试的那台车,跑的模型是云端「世界基座模型」蒸馏后的版本,云端基座模型的参数量是72B,就算只做推理任务,为达到低时延效果,至少也需要4块A100才能跑得起来。[doge][doge]。
放在车端的成本太高了,而且也没有意义,因为很难量产,反而是蒸馏后的版本,跑测试才有价值,为后续图灵上车做前瞻性实验。
所以后装算力的那台车,跑的模型没有72B。
小鹏后装算力测试的那台车,跑的模型是云端「世界基座模型」蒸馏后的版本,云端基座模型的参数量是72B,就算只做推理任务,为达到低时延效果,至少也需要4块A100才能跑得起来。[doge][doge]。
放在车端的成本太高了,而且也没有意义,因为很难量产,反而是蒸馏后的版本,跑测试才有价值,为后续图灵上车做前瞻性实验。
所以后装算力的那台车,跑的模型没有72B。
作者最新文章
热门分类
汽车TOP
汽车最新文章