众力资讯网

腾讯混元开源Hy4 flash全套权重 腾讯混元 Hy4 flash 于 2026年11月18日 开源,并一次性放出全套权重。关键内容如下: 开源版本3个: Hy4 flash:BF16 指令模型 Hy4 flash-FP8:FP8 量化指令模型,降低部署资源 Hy4 flash-Base:预训练基础模型,适合二次微调 核心参数: 总参数量约 2200亿,MoE架构 ​

腾讯混元开源Hy4 flash全套权重

腾讯混元 Hy4 flash 于 2026年11月18日 开源,并一次性放出全套权重。关键内容如下:

开源版本3个:Hy4 flash:BF16 指令模型Hy4 flash-FP8:FP8 量化指令模型,降低部署资源Hy4 flash-Base:预训练基础模型,适合二次微调

核心参数:总参数量约 2200亿,MoE架构,每Token约激活 120亿参数含约 635亿 Engram参数上下文窗口最高 100万Token支持图文输入、文本输出

关键技术:混合注意力、LatentMoE、Engram,内置DFly2推测解码模块;解码速度可超 150 Token/秒

获取平台:GitHub、Hugging Face、ModelScope、GitCode;配套 Transformers、vLLM、SGLang 部署路径

许可协议:Tencent Hy License

后续计划:腾讯表示正在推进Hy4系列其他更大模型的开源。人工智能大模型数据中心 深圳竟业电子IC芯片