众力资讯网

英伟达新开源30B大模型,百万上下文量化16G显存就可以跑。 刚刚英伟达新开源模

英伟达新开源30B大模型,百万上下文量化16G显存就可以跑。
刚刚英伟达新开源模型Nemotron 3.5 Lighting,仅30B参数,MOE架构,单次推理只激活3B参数,并且拥有百万上下文量化最低16G显存就可以跑,像4060这样的显卡也可以跑。
市面上同级27B、30B稠密模型普遍要32G专业算力卡,这款大参数模型反而更省显存。它拥有100万超长上下门,核心是存储智能体,海量工具调用记录,主打高速吞吐自动化任务,吞吐是同类30B稠密模型4倍。模型从旗舰Nemotron3Ultra蒸馏,智能体执行能力拉满。