看了一下DeepSeek的最新论文”NativeSparseAtten

墨者在此 2025-02-19 09:18:26

看了一下 DeepSeek 的最新论文” Native Sparse Attention"，核心思想就是对训练的数据通过空间序列块的方式进行压缩

因为他们发现其具有非常明显的稀疏特性(图二)

诸位，其实这些原理在1992年的历史压缩的论文里就提到了，而且采用其方法可以降低训练样本规模200倍，逻辑推理从少于五步达到快速完成20步

这些其实就是压缩感知，即找到一种算法，能够对大规模的数据进行高效压缩，历史压缩的方法也是动态自适应层级的

所以，其实搞大语言模型的应该要调整思路了，提升算法性能的重要方向就是压缩感知理论

.

0 阅读：41

猜你喜欢

墨者在此

墨者在此

感谢大家的关注

作者最新文章

1
发现的这本「灵境漫话-虚拟技术演义」(汪成为，1996年) 可真的不得了，其中有
2
BBC说了一段历史，即西班牙 1513 第一次到达墨西哥湾的时候，以为找到的是一
3
「黄帝内经」中对「营气」和「卫气」的描述，就已经表明古人很早就对身体中有两大类营
4
吉尔吉斯斯坦还真的是令人惊讶有网友提到一位叫做”玉仁慈“的女孩是中亚之花，吉尔吉
5
唐朝魏征说过「以铜为镜，可以正衣冠；以史为镜，可以知兴替；以人为镜，可以明得失」
6
看到有道家的人对封神2的评价，可见封神2的确非同小可所以大家最好还是去查一下背后
7
2013年发表的一篇论文「中国与瑞典科学家联手破解循经感传现象之谜」其中介绍了一
8
不知道这样的判断依据来自什么？他不知道汉武帝时候就启用了匈奴人做将军甚至做宰相么
9
有个博主介绍封神演义时提到，中国神魔小说是在嘉靖年间开始出现的，包括西游记，东游
10
最近看到吉尔吉斯斯坦的总统及其夫人的照片，我其实有点意外的，因为总统夫人看起来很

热门分类

推荐 热榜 军事 NBA 体育 社会 明星八卦 娱乐 财经 科技 汽车 历史 国际 游戏 动漫 公益 搞笑 商业 互联网 数码 国际足球 房产 家居 时尚 科学探索 职场 育儿 股票 教育 影视 情感 热点 中国军情 武器 中国南海 中国足球 亚洲杯 科比 综合体育 CBA 投资 楼市 大咖秀 外汇 创业 风口 SUV 豪车 概念车 优惠 新能源 美国 欧洲 朝日韩 俄罗斯 孕期 街拍 恋爱攻略 婚姻 正能量

历史TOP

1
这个姿色在清朝能当个妃子吗?
2
第一次见，清朝这么多等级吗？
3
哪吒这么能打，西天取经为什么不让他去？原因很简单，他去的话，第一集就到了。
4
申公豹：元始天尊最小徒弟，排行第19。他前面还有18位师兄，分别为：1.燃灯
5
司马懿一生到底熬死了多少人？40岁的时候，熬死了政敌杨修（44岁）41岁的时
6
中国世家大族及代表人物
7
清朝灭亡后八旗贵族都改了什么姓？
8
纣王的腿，怎么摆的这么的诱惑，戳中了我的笑点。
9
如果玄武门之变李建成逃出去了，他有机会翻盘吗？1.别说李建成活着出去了，就是李
10
1407年，朱棣下令全国选拔美女，当美女们送到京城后，锦衣卫纪刚首先挑选了几个最

历史最新文章

1
如果玄武门之变李建成逃出去了，他有机会翻盘吗？1.别说李建成活着出去了，就是李
2
申公豹：元始天尊最小徒弟，排行第19。他前面还有18位师兄，分别为：1.燃灯
3
李敖说：当我看到《南京条约》原文的时候，已经是泪流满面。因为《南京条约》上清楚的
4
北洋军阀张宗昌，暗地里与小姨子有染，不巧被揭露。愤怒的妻子为了报复，竟与一名瘸子
5
1975年，蒋介石得知黄维被特赦的消息后，立刻邀请他前往台湾，不仅补发了他被俘2
6
当年美国做PPT忽悠苏联，苏联把军费提到GDP的10%，甚至20%，然后就崩了。
7
公元219年，曹丕偷偷来到伏皇后的寝宫，突然将皇后压在身下说：“别喊，别
8
713年，太平公主被李隆基追杀，躲到太上皇李旦的宫殿，李旦对李隆基说：“你就看在
9
为什么汉武帝只杀了10多万青壮年，就导致匈奴一蹶不振了？这是因为汉军有个很“龌龊
10
1965年，彭德怀一边抽烟，一边固执地对毛泽东说道：＂我还是回乡当我的农民好，你