提到本地运行大模型，很多人的第一反应还是高性能显卡、大容量内存，以及体积不小的工作站。尤其是122B这样的大参数模型，过去往往意味着更高的硬件投入和更复杂的部署环境。不过，随着国产AI算力技术不断发展，这种情况正在发生变化。联想开天推出首款信创AI主机，将支持大模型推理的本地算力集成到一台小巧的桌面设备中，让企业级AI能力有了更加贴近办公场景的落地方式。


这款产品比较有意思的地方，在于它并没有单纯追求传统PC的硬件堆料，而是采用了国产异构计算方案。整机采用1.6L小巧机身，内部搭载兆芯处理器，并加装两张后摩NPU卡，通过CPU与NPU之间的协同工作，构建完整的国产算力平台。两张后摩NPU卡共同提供最高320 TOPS的本地算力，能够支持122B量级大模型在本地运行。
当然，算力数字只是一个方面，真正值得关注的是它能够承担什么样的任务。122B大模型意味着更强的复杂信息处理能力，而本地部署则让这些能力不再完全依赖云端服务。比如面对大量业务资料，可以进行文档分析、内容归纳和知识库问答；遇到需要多步骤处理的工作，也可以通过本地智能体完成任务执行。配合最高20万Token的长上下文处理能力，即使是篇幅较长的资料，也能够纳入同一任务流程中进行分析。


从技术实现来看，小机身承载大模型并不是简单地把硬件装进去就能实现，还需要软硬件之间进行深度配合。这套方案通过CPU与NPU智能协同调度，让不同计算单元承担各自擅长的工作，降低单一处理器的计算压力。模型压缩技术帮助大模型在有限硬件资源下运行；长文本加速引擎针对大量文档的处理需求进行优化，提升信息提取效率。预判式生成技术则优化模型推理过程，让内容生成更加连贯。
目前不少企业使用AI，主要还是通过云端接口调用模型。日常问答或偶尔生成一份材料，成本可能并不明显，但如果将AI应用到知识库检索、内部文档分析、代码辅助等工作中，甚至部署需要持续运行的智能体，调用次数和Token消耗就会不断增加。


对于高频、重复以及涉及内部资料的任务，可以直接交给设备本地处理，不必每次都向云端发送请求，也不需要持续承担相应的API调用费用。按照不同使用强度进行测算，本地部署相较云端调用能够减少相当可观的长期开支。


数据安全同样是信创AI主机的重要价值，政企、金融、研发等领域往往涉及大量内部文件和业务信息，数据能否离开内部环境，是部署AI时必须考虑的问题。通过本地运行大模型和本地智能体，相关资料可以在设备内部完成处理，减少对外部云端服务的依赖，让企业在使用AI能力的同时，更好地掌握数据管理主动权。
从产品形态来看，联想开天这款AI主机带来的变化，不只是把320 TOPS算力放进了1.6L机身，更重要的是让国产CPU、NPU以及本地大模型形成了一套能够落地使用的完整方案。


AI应用正在从简单的对话问答走向实际工作流程，本地智能体也开始承担越来越多具体任务。在这样的趋势下，算力部署的位置、数据处理的方式以及长期使用成本，都会成为企业选择AI设备的重要因素。联想开天推出首款信创AI主机，让122B大模型能够在国产硬件平台上实现本地运行，也为国产AI算力走进日常办公环境提供了一个新的方向。#国产算力装进小盒子了##AI算力不再按Token计费#