思维链（Chain-of-Thought, CoT）。它不是单一训练技巧，而是“数据 + 监督信号 + 强化学习 + 推理时策略”共同造出来的。大致有这几条路线：

1. 提示涌现：一开始不是专门训练

早期发现：给大模型几个“先列步骤再给答案”的示例，它就会在输出里展开推理。
这靠的是预训练中学到的模式，不是专门教出来的。

2. SFT：用带推理步骤的数据微调

收集/构造“问题 → 中间步骤 → 答案”的样本，做监督微调。
数据来源包括：

· 人类标注推理过程；
· 强模型生成高质量 CoT；
· 程序、数学、逻辑题的可验证解法；
· 多步工具调用轨迹。

模型学的是：在什么问题上应该展开、展开多长、每步怎么接。

3. 蒸馏：强模型教弱模型“怎么写步骤”

用强模型对大量问题生成详细推理，再筛掉答案错的、步骤乱的、冗长的，拿去训练小模型。
这是目前很常见、性价比很高的做法。

4. 过程监督：不只看最终答案

普通训练只看答案对不对；过程监督会给每一步打分，奖励正确中间步骤，惩罚跳步、胡编、循环。
常见形式：

· PRM：过程奖励模型；
· ORM：结果奖励模型；
· 人工/规则标注关键步骤。

5. RL：让模型自己探索长推理

o1/R1 这类模型的关键是强化学习。
对数学、代码等可验证任务，只奖励最终结果，让模型自己试出“多想几步、检查、回退、换方法”的策略。
奖励信号可以是：

· 答案正确；
· 单元测试通过；
· 形式化证明通过；
· 工具执行成功。

这就是“模型自己训练出思维链”的核心：不是人把每一步写死，而是用结果奖励逼它学会展开推理。

6. 拒绝采样/自举

模型对一个问题生成多条推理，只保留答案正确的轨迹，再拿回来微调自己。
类似 STaR、ReST、拒绝采样微调：自己生成 → 筛正确 → 再训练。

7. 推理时策略

训练后还会配合：

· 多采样投票；
· 自我检查；
· 分步求解；
· 工具调用；
· 长上下文；
· 搜索/验证器。

一个典型训练流水线

1. 准备数学/代码/逻辑等可验证题；
2. 强模型生成多条 CoT；
3. 用答案或执行器筛掉错误轨迹；
4. 做 SFT 冷启动；
5. 用 RL 奖励正确结果，鼓励有效长推理；
6. 训练过程奖励模型，过滤胡编步骤；
7. 部署时多采样、验证、投票。

关键点

· CoT 不是“把人类思考复制进去”，而是学输出中间计算的条件分布；
· 最有效的是可验证任务 + 结果奖励 + 过程过滤；
· 模型输出的 CoT 不一定忠实反映内部计算，不能当真实心理解释；
· 太长不等于更强，训练中要控制长度、冗余和“假推理”。

一句话：思维链 = 用带步骤数据做冷启动 + 用结果/过程奖励做强化 + 用可验证任务筛选轨迹 + 推理时多采样验证，逐步训出来的。