[CL]《DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning》H Fu, T Guo, Z Wang, H Zhu… [UC Berkeley] (2026)

在多步推理领域，大模型在不借助思维链（CoT）时难以通过单次前向传播完成隐式推理。过去的方法受困于“深度局部存储”难题，本质原因是标准 Transformer 的层级结构导致早期层提取的中间事实无法在需要进行第二步检索的深层中复用。

本文的核心洞见是：将循环 Transformer 的迭代过程重新看作离散符号与连续状态的协同演化。由此，引入“离散嵌入通道（DiscoLoop）”这一关键操作，在循环间同时传递隐藏状态和解码后的离散嵌入，消除了连续向量与词表空间之间的表征错配，使模型能像读取输入一样清晰地“复用”中间推理结果。

这项工作真正留下的遗产是证明了“离散-连续混合循环”是提升模型隐式推理能力的有效架构范式。它为后来者打开的新门是在不增加参数量的前提下实现近乎完美的跨分布推理泛化，但尚未跨过的门槛是该机制在大规模预训练模型中的长程逻辑一致性以及对超长推理链条的泛化能力。

arxiv.org/abs/2607.00341 机器学习 人工智能 论文 AI创造营