腾讯混元开源Hy4 flash全套权重
腾讯混元 Hy4 flash 于 2026年11月18日 开源,并一次性放出全套权重。关键内容如下:
开源版本3个:Hy4 flash:BF16 指令模型Hy4 flash-FP8:FP8 量化指令模型,降低部署资源Hy4 flash-Base:预训练基础模型,适合二次微调
核心参数:总参数量约 2200亿,MoE架构,每Token约激活 120亿参数含约 635亿 Engram参数上下文窗口最高 100万Token支持图文输入、文本输出
关键技术:混合注意力、LatentMoE、Engram,内置DFly2推测解码模块;解码速度可超 150 Token/秒
获取平台:GitHub、Hugging Face、ModelScope、GitCode;配套 Transformers、vLLM、SGLang 部署路径
许可协议:Tencent Hy License
后续计划:腾讯表示正在推进Hy4系列其他更大模型的开源。人工智能大模型数据中心 深圳竟业电子IC芯片
