大模型算法实战教程 / LLM Algorithm Practice Lab 地址：github.com/datawhalechina/llm-algo-leetcode

这是一个面向大模型入门到进阶的算法实战教程，聚焦 Python、PyTorch、Transformer、推理优化、显存管理与 CUDA/Triton 实战。我们把每个知识点做成可运行、可验证、可回顾的 Jupyter Notebook 练习，帮助你从“会看”走到“会写、会调、会优化”。本项目仅限于纯粹的大语言模型（LLM）领域，不包含 Diffusion 或多模态，并配备本地测试用例，提供可反复练习和回顾的学习路径。

项目特点 高度垂直：专注 Transformer、MoE、量化、推理加速与显存优化。 工程导向：使用 PyTorch、Triton 或 CUDA C++ 实现核心算子和系统逻辑。 测试驱动：每道题都配套本地测试和性能验证。

目录如图。

AI创造营