一步步掌握大语言模型（LLM）工程实战：

Ahmad Osman 分享了一系列项目，每个项目专注一个核心概念，真实动手体验，深刻理解背后原理——从分词(词元化)到采样策略，从注意力机制到长上下文处理，再到微调、量化和推理优化，内容全面且系统。

主要项目亮点：

- Tokenization & Embeddings：自己动手做字节对编码（BPE），训练子词词汇，制作token可视化工具，比较one-hot和学习型embedding的差异。

- 位置编码：演示经典正弦函数编码、学习型、RoPE、ALiBi四种方式，动画展示位置编码的本质。

- 自注意力与多头注意力：从单token点积注意力写起，扩展到多头，验证因果遮罩效果。

- Transformer堆叠与QKV拆解：搭建单层和多层Transformer，拆解Q、K、V矩阵，实验不同组合的影响。

- 采样参数调优：交互式调整温度、top-k、top-p采样，观察输出多样性与熵的变化，揭示温度为0带来的重复现象。

- KV缓存加速推理：实现缓存机制，量化速度提升，制作缓存命中可视化，分析内存占用。

- 长上下文技巧：滑动窗口注意力、内存高效重计算，测量困惑度随上下文长度变化，找到“上下文崩溃”点。

- 专家混合（MoE）：实现两专家路由层，动态路由tokens，统计专家利用率，模拟稀疏与密集计算节省FLOPs。

- Grouped Query Attention：改写多头注意力为分组查询结构，测评速度与延迟。

- 归一化与激活函数：手写LayerNorm、RMSNorm、SwiGLU、GELU，消融实验观察对训练/测试损失影响。

- 预训练目标对比：玩转掩码语言模型、因果语言模型、prefix语言模型，绘制损失曲线，比较学习速度与生成样本特性。

- 微调、指令调优与RLHF：小数据集微调；任务前缀指令调优；用PPO训练奖励模型，绘制奖励提升。

- 规模定律与模型容量：训练不同大小模型，绘制损失与模型规模关系，评估训练效率，推估极端小模型表现。

- 量化实操：实现PTQ和QAT，导出GGUF/AWQ格式，评估精度下降。

- 推理与训练框架迁移：HuggingFace模型移植到Deepspeed、vLLM、ExLlama，横向性能对比。

- 合成数据实验：生成玩具数据，加入噪声、去重，制作评估集，比较真实数据与合成数据的学习曲线。

核心建议：

- 理论别停留太久，边写代码边调试边消融，用图表和实验结果说话，甚至可以幽默调侃自己的图表。

- 每完成一个项目，分享心得，积累真实经验。

- 未来的你，会感谢现在努力的自己。

这是一条通向LLM工程师之路的实操路线，既系统又接地气，非常适合想要深入理解和实践大模型技术的同学。

原文链接：x.com/TheAhmadOsman/status/1975783287961313362/history

---

附言：真正的理解来自“做中学”，单纯用API无法触及的细节和难点，都在这系列项目中得到锻炼。推荐给所有想从理论走向实战的AI工程师和研究者！