众力资讯网

吴恩达特别转发点赞,斯坦福Percy Liang团队领导的Marin项目,正式启

吴恩达特别转发点赞,斯坦福Percy Liang团队领导的Marin项目,正式启动了迄今最大规模的开放预训练:Marin 535B-A23B(总参数535B、激活参数约23B的MoE模型)。计划用约3个月时间,在11×GB200 NVL72上完成预训练(80%)+ 中期训练(20%),总计算量约2.7e24 FLOPs,覆盖18.75T tokens。

该项目全程完全开放——代码、数据、训练配方、实验日志甚至中间结果全部公开。启动前还做了从1.6B到27.7B的4级scaling ladder来调试与预测。吴恩达称这是在当前开放与封闭激烈辩论中,对“真正开放模型训练”的珍贵示范。