人工智能 kimi开源了自己的模型
总体而言,还是在用DeepSeek的开源技术,DS开源的贡献真的超大!
kimi月之暗面的第一个开源的超大模型,他们还是选择了致敬DeepSeek,复用它的MLA设计。还有MoE部分,沿用了DeepSeek-V3的Shared Expert、大Sparsity和Loss-Free负载均衡。所以,最终决定,K2还是先狠狠地致敬DeepSeek了,而不是刻意地标新立异。更多的想法和创意,我们把它们做得更扎实后,在K3、K4再见了。
人工智能 kimi开源了自己的模型
总体而言,还是在用DeepSeek的开源技术,DS开源的贡献真的超大!
kimi月之暗面的第一个开源的超大模型,他们还是选择了致敬DeepSeek,复用它的MLA设计。还有MoE部分,沿用了DeepSeek-V3的Shared Expert、大Sparsity和Loss-Free负载均衡。所以,最终决定,K2还是先狠狠地致敬DeepSeek了,而不是刻意地标新立异。更多的想法和创意,我们把它们做得更扎实后,在K3、K4再见了。
猜你喜欢
【4评论】【1点赞】
【4评论】【10点赞】
【15评论】【9点赞】
【16评论】【5点赞】
作者最新文章
热门分类
财经TOP
财经最新文章