微软研究院最近提出了一种名为 NextLat（后继隐状态预测） 的全新训练方法。
他们发现，如果不仅让AI预测下一个字（传统做法），还逼着它提前预测自己听到下个字时“大脑会怎么想”，AI就能像人类一样，在脑海中建立起一个清晰、连贯的“世界模型”。
这种方法在处理熟悉的数据时可能效果很好，但在模型需要进行规划、绕路、推理或将隐藏结构向前传递时，就会失效。
NextLat 通过添加一个训练任务来解决这个问题：模型必须预测其下一个隐藏状态，而不仅仅是下一个词。
隐藏状态是模型对其所见内容的私有摘要，因此预测下一个隐藏状态可以促使模型学习情况随时间的变化。
作者在类似地图的世界建模、数学推理、图规划、故事预测和常规语言建模等任务上测试了 NextLat。
主要结果表明，NextLat 通常能够学习到更紧凑、更有用的内部状态，更好地解决规划任务，并将生成速度提升高达 3.3 倍。
总的来说，它赋予了 Transformer 模型一些循环模型的有用内存行为，而无需改变 Transformer 的架构或减慢正常的推理速度。
论文可以直接download哦~ 👇🏻 如果觉得我们的分享对你有用的话~ 👏🏻一键三连~
