大语言模型基于什么原理?基于注意力机制，来源于对人类认知的原因，人们观察是有选择

糖果杠历史 2025-02-04 12:36:11

大语言模型基于什么原理?基于注意力机制，来源于对人类认知的原因，人们观察是有选择的，关心自己关注的。就像看到美景，拍照所有画面拍下来，不是自己看的样子。注意力机制存在于人脑的一个部位前额叶皮层。 2017年发明了transfomer 算法实现了这个机制，把注意力结构存在计算机存储器里查询，称之为kv值，几组kv就是多头注意力

0 阅读：0
糖果杠历史

糖果杠历史

感谢大家的关注

作者最新文章

1
DeepSeek是类似微软研究院实验室 DeepSeek 实验室只有4个已经毕业
2
科技人员用于科研已经用了一段时间，有专门版本，139个只有4个已经毕业，其他人是
3
随手拍建筑
4
谁是古装美女第一人？
5
古装电视剧女演员谁最美
6
deepseek的成功意味着什么会打乒乓球多,但世界冠军少，草台班子多。知识蒸馏
7
华为为什么技术功底扎实?入职的都是选优的。华为去985和211中电子类大学找适合
8
开源技术如何开辟产业竞争新赛道?开源技术挑战商业科技公司，已经持续多年，创新技术
9
面对DeepSeek宣布重新开源，把推理服务产品降价。
10
广州企业为什么要做税收筹划?广州三级财政，税高，做到规模正规企业很多喜欢去深圳，

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

历史TOP

1
第一次见，清朝这么多等级吗？
2
哪吒这么能打，西天取经为什么不让他去？原因很简单，他去的话，第一集就到了。
3
毛主席时代就已经发现这个了吗？？
4
申公豹：元始天尊最小徒弟，排行第19。他前面还有18位师兄，分别为：1.燃灯
5
中国世家大族及代表人物
6
清朝灭亡后八旗贵族都改了什么姓？
7
纣王的腿，怎么摆的这么的诱惑，戳中了我的笑点。
8
如果玄武门之变李建成逃出去了，他有机会翻盘吗？1.别说李建成活着出去了，就是李
9
1407年，朱棣下令全国选拔美女，当美女们送到京城后，锦衣卫纪刚首先挑选了几个最
10
薄一波的十个冷知识

历史最新文章

1
只是打了个外协而已[汗]
2
1949年，蒋介石带着60万大军败逃台湾，其中大部分都是没成婚的年轻人，为了解决
3
如果玄武门之变李建成逃出去了，他有机会翻盘吗？1.别说李建成活着出去了，就是李
4
申公豹：元始天尊最小徒弟，排行第19。他前面还有18位师兄，分别为：1.燃灯
5
李敖说：当我看到《南京条约》原文的时候，已经是泪流满面。因为《南京条约》上清楚的
6
1905年，北京火车站，吴樾行刺失败，一名清军抓着他的辫子，正被清理出车厢，镜头
7
北洋军阀张宗昌，暗地里与小姨子有染，不巧被揭露。愤怒的妻子为了报复，竟与一名瘸子
8
1975年，蒋介石得知黄维被特赦的消息后，立刻邀请他前往台湾，不仅补发了他被俘2
9
1950年，解放军剿匪部队追入一座尼姑庵。眼看任务即将结束，一个小战士突然提出了
10
当年美国做PPT忽悠苏联，苏联把军费提到GDP的10%，甚至20%，然后就崩了。