数据蒸馏到底是什么神奇技术? 用大模型训练更小模型的一种方法，逐级训练，不断缩小

糖果杠历史 2025-02-04 11:36:07

数据蒸馏到底是什么神奇技术? 用大模型训练更小模型的一种方法，逐级训练，不断缩小参数量，节省训练资源，同时精确度下降不大。 把独热分类用SOFTMAX函数转换为软分类，小概率分量提高比例。 这个技术有7-8年。

0 阅读：12
糖果杠历史

糖果杠历史

感谢大家的关注

作者最新文章

1
小鹏汽车如何起死回生的? 1研究投入强度大，一年研究发展投入是广汽新能源2倍还多
2
DeepSeek 广府更接近中原人 下面看推理 在广东，广府人是更接近中原人的族
3
孙传庭遇到大雨，车营不能布阵， 火炮也不能用。明军后勤保障不行，后撤过程中，暴露
4
花木兰是鲜卑人还是敕勒人男耕女织，汉族或者汉化鲜卑，是军户，所以习武。
5
体制内怎么发展进步最快？很多人错误观察，认为只是来分钱的，对人就别太狠了，到基层
6
体制内的成功只有提拔这一条路吗看到很多人过得也不错，同时第二职业，可以送孩子去国
7
DeepSeek,生产业务拥有算力惹起争议。其科研平台明确有2000多个H800
8
处理文字与语音，把文字转为声音，把声音转为文字。声音风格迁移，例如高德地图用文语
9
体制内那些不想被提拔的都是什么人重视家庭比较多
10
闭源模型是否真的具有更大的优势?直接使用者觉得挺好，管理者考虑成本安全先进性

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

历史TOP

1
第一次见，清朝这么多等级吗？
2
哪吒这么能打，西天取经为什么不让他去？原因很简单，他去的话，第一集就到了。
3
毛主席时代就已经发现这个了吗？？
4
申公豹：元始天尊最小徒弟，排行第19。他前面还有18位师兄，分别为：1.燃灯
5
中国世家大族及代表人物
6
清朝灭亡后八旗贵族都改了什么姓？
7
纣王的腿，怎么摆的这么的诱惑，戳中了我的笑点。
8
如果玄武门之变李建成逃出去了，他有机会翻盘吗？1.别说李建成活着出去了，就是李
9
1407年，朱棣下令全国选拔美女，当美女们送到京城后，锦衣卫纪刚首先挑选了几个最
10
薄一波的十个冷知识

历史最新文章

1
只是打了个外协而已[汗]
2
1949年，蒋介石带着60万大军败逃台湾，其中大部分都是没成婚的年轻人，为了解决
3
如果玄武门之变李建成逃出去了，他有机会翻盘吗？1.别说李建成活着出去了，就是李
4
申公豹：元始天尊最小徒弟，排行第19。他前面还有18位师兄，分别为：1.燃灯
5
李敖说：当我看到《南京条约》原文的时候，已经是泪流满面。因为《南京条约》上清楚的
6
1905年，北京火车站，吴樾行刺失败，一名清军抓着他的辫子，正被清理出车厢，镜头
7
北洋军阀张宗昌，暗地里与小姨子有染，不巧被揭露。愤怒的妻子为了报复，竟与一名瘸子
8
1975年，蒋介石得知黄维被特赦的消息后，立刻邀请他前往台湾，不仅补发了他被俘2
9
1950年，解放军剿匪部队追入一座尼姑庵。眼看任务即将结束，一个小战士突然提出了
10
当年美国做PPT忽悠苏联，苏联把军费提到GDP的10%，甚至20%，然后就崩了。