众力资讯网

【OLMo-core:把大模型训练拆成可复用的开源积木】Allen AI开源的O

【OLMo-core:把大模型训练拆成可复用的开源积木】Allen AI开源的Olmo-core为大模型研发提供了一套扎实的PyTorch底层模块库。项目完整内置了OLMo-2与OLMo-3的官方预训练及退火脚本,支持通过torchrun直接覆盖超参启动;技术栈深度整合了Liger-Kernel显存优化、torchao的Float8低精度训练以及MoE算子等前沿组件。在推理部署上,它既能原生衔接Hugging Face与vLLM高吞吐引擎,也自带命令行交互式对话工具,对于想跑通前沿大模型全流程训练与实验的团队来说非常实用。项目地址:github.com /allenai/Olmo-core