2024年的DeepSeek使用的MoE灵感来自于7年前(2017)

墨者在此 2024-12-29 09:48:11

2024年的 DeepSeek 使用的 MoE 灵感来自于 7 年前(2017)的一篇论文，而这篇论文的灵感又来自于 11 年前(2013)的一篇，最后这篇本身是要解决图像识别的

Mixture of Experts 架构本质应该是一种稀疏矩阵编码技术，构建了两层矩阵，一层是寻址矩阵，对一个超大矩阵切分为许多小矩阵进行寻址，以进行交织编码

有意思吧？但是好像 AI 理论专家们没有意识到这个

.

0 阅读：15

感谢大家的关注

作者最新文章

1

鲁迅的「题三义塔」也非常有意思看背景介绍，可能日本并不存在三义塔，因为这只鸽子是

2

鲁迅杂文集中的「无题」也很有趣，我觉得应该取名为「清采」更妙我认为此诗应该是一位

3

重读鲁迅「自嘲」全诗，我认为这很可能是一位有帝王之运，并以成就天下一统为志向的人

4

儒，究竟在先秦时候是什么意思? 应该是很值得考察一下的儒的构字法是左人右需我们从

5

一位网友提供信息，明代某记录了成都府地图的古籍里有回回寺，但是是反犬旁的，而在成

6

我已经考察了佛学最有价值的部分是汉传佛学的内容，什么西藏，印度，甚至尼泊尔，泰国

7

明朝时候称呼的回回，应该就是现在的 Hebrew ，这样就能理顺了，儒家是 J

8

我们现在回看一下清末时候提出的「五族共和」，作为一个主体民族是汉族，曾经统治过的

9

做历史考察其实真的很像几何，你只需要找到几个关键点，发现关键的模式和结构，就能非

10

2014年在遵义发现了一座南宋时期(1255年)的杨氏土司墓葬，据推测应该是杨价

热门分类

推荐热榜军事 NBA 体育社会明星八卦娱乐财经科技汽车历史国际游戏动漫公益搞笑商业互联网数码国际足球房产家居时尚科学探索职场育儿股票教育影视情感热点中国军情武器中国南海中国足球亚洲杯科比综合体育 CBA 投资楼市大咖秀外汇创业风口 SUV 豪车概念车优惠新能源美国欧洲朝日韩俄罗斯孕期街拍恋爱攻略婚姻正能量

历史TOP

1

万万没想到，这张20年前的老照片，现在除了刘德华，其他6位都没王宝强名气大，合影

2

一天晚上，张宗昌把剥光衣服的陈佩瑜，推到烧得滚烫的炕上，陈佩瑜被烫得蹦起三尺高，

3

当年汪精卫死后，他老婆陈壁君整了5吨的碎钢块掺在混凝土里，给汪精卫整了个王八壳，

4

历史上各大姓氏出皇帝的数量！

5

这是哪位领导的后宫座谈会？

6

刘邦三大功臣的历史结局。

7

1949年2月，南京大校场机场上堆满了乱七八糟的行李。一名国军军官与抱着孩子的妻

8

清代老照片！感觉现代人保守了

9

毛主席身边的10大警卫员

10

1948年，蒋中正父子俩与随行人员游览南京明孝陵。一个小男孩引起蒋中正的注意，并

历史最新文章

1

1939年，19岁少女，被日军推进洗澡房。翻译官笑眯眯说：“你有福了！你很漂亮，

2

549年，皇妃私约大臣，在自己寝宫饮酒。皇妃夹菜去喂大臣，大臣不敢躲避用嘴去接。

3

1941年，八路军侦察员刘锡琨，借宿到地主家。睡到半夜，一黑影悄悄打开门，蹑手蹑

4

946年，耶律阮杀进后晋皇宫，发现一个徐娘半老风韵犹存的宫女，看的耶律阮心潮澎，

5

抗战时期的河北，被日本宪兵逮捕的一家三口惨遭灭门。面对死亡，中间的是父亲显得很坦

6

这是袁世凯当年称帝时的照片，1915年12月袁世凯坐在龙椅上，身穿帝王的服饰，不

7

清末朝官合影，越严肃品级越高，笑的露牙的胸前没补子。三品相当于现在省委了，没补那

8

《雁回时》，苗贵妃下线！庄仕洋的血债又添一条！当庄仕洋看到庄寒雁投靠苗贵妃后，他

9

1127年，朱皇后靖康之变后不幸被俘，行驶途中她本想在野地解手，不料后面跟着个金

10

1691年，15岁的宋氏被选为雍正的试婚格格，她奉命成为雍正情事的“启蒙导师”，