【100天搞懂AI · Day 014】几万块 GPU 烧了几千万,AI 到底是在训练什么?
很多人以为训练模型就是程序员在狂改代码逻辑。
大错特错!从训练的第一天到最后一天,底层代码结构一行都没变。
一张图看清千亿模型内部的微观调音台:
【解剖大模型的身体与灵魂】
1. 骨架:完全固定的网络拓扑
程序员搭建的 Transformer 架构,就像一座百层大厦或一台拥有千亿旋钮的超级调音台。骨架一旦定型,便不再改动。
2. 灵魂:成百上千亿个“数字权重”
真正日夜不停在改变的,是神经元连接处的微小数值(Weights)。
一开始,这些小旋钮全都随机乱指,播放出来的只有刺耳白噪声;
每当答错一道题,算法就顺着误差把旋钮轻轻拧动几微米;
刷完几万亿字后,千亿旋钮达成了精妙绝伦的数学共鸣!
【模型文件的物理真面目】
开源社区下载的几十 GB 文件,既不是神秘秘籍,也不是复杂软件,而是一张记录了千亿个最佳旋钮刻度的数字表格!
💡 今日金句:
训练不改一行代码逻辑,改变的只是模型内部那些数字权重。
💬 互动聊聊:如果把大模型比作千亿旋钮的收音机,你觉得找到最佳刻度最难的是什么?
(明天见:Day 015|什么是训练数据?)
100天搞懂AI 技术通识 大模型 权重参数
