众力资讯网

智谱 GLM-5.5,参数可能突破 3 万亿? 最近看到一份关于智谱下一代模型的

智谱 GLM-5.5,参数可能突破 3 万亿?
最近看到一份关于智谱下一代模型的专家访谈纪要,信息量挺大。

📌 1. 新模型规模可能达到 3T
此前传闻 GLM-5.5 有 1.6T 参数,但访谈称这个数字并不准确。
下一代基座模型的总参数规模可能在 2.5T~3.5T,采用更激进的架构,同时追求更强的能力、更快的推理速度和更低的成本。

📌 2. 训练曾经遇到困难
原计划 10 月底发布,但据称预训练过程中遇到了 Loss 不降的问题,导致进度推迟。
目前问题可能已经解决,训练接近完成。访谈甚至预计,新模型有望达到 Fable 级别的旗舰水平。

📌 3. RSI 和 Loop 也有新进展
RSI 已经取得一些进展,但还不是能力提升的主力。
Loop 相关技术据称已经基本解决,未来可能直接进入线上服务。

📌 4. 超大模型越来越难训练了
访谈还提到,国内多家厂商正在尝试 5T 级别模型,但 2T 以上模型的稳定训练仍然非常困难。
主要有两类问题:Loss Spike(损失突然飙升)和 Loss 不降(长期不收敛)。
模型越大,训练稳定性可能比单纯堆参数更重要。

如果这份纪要属实,智谱下一代模型还是挺值得期待的。