对很多人来说,他们就是一个本地小模型。
1.参数量极小,可能不到2B。2.训练数据极少,大部分都是污染数据,充满偏见和噪声。3.预训练轮数少,通常不收敛。4.上下文容量小,不超过500字。5.注意力是稀疏的。6.联网能力差,不知道多维度验证信息。7.思维链是没有的。8.输出的要么是幻觉要么过拟合。
对很多人来说,他们就是一个本地小模型。
1.参数量极小,可能不到2B。2.训练数据极少,大部分都是污染数据,充满偏见和噪声。3.预训练轮数少,通常不收敛。4.上下文容量小,不超过500字。5.注意力是稀疏的。6.联网能力差,不知道多维度验证信息。7.思维链是没有的。8.输出的要么是幻觉要么过拟合。