不只是预测：动力学学习中「记忆」的五重境界
从Takens嵌入定理到Koopman算子，再到RNN、Transformer与Neural ODE，时间序列预测的发展史本质上是一部“机器学习记忆”的进化史。核心问题始终是：机器究竟该如何表示过去，才能预测未来？
Takens定理指出，即使只能观测到一个变量，其历史时延嵌入也足以重构整个系统的动力学结构，这为所有方法奠定了哲学基础——过去包含着未来的种子。
Koopman算子理论则提供了一条优雅的迂回策略：通过将系统提升到无限维函数空间，非线性动力学可被一个线性算子描述，让预测变得像做矩阵乘法。
进入深度学习时代，RNN、CNN和Transformer让模型自主学会了记忆，梯度下降赋予了它们决定什么该记、什么该忘的能力。其中，Transformer的自注意力机制从根本上改变了序列建模，让任意时间步之间直接建立联系。
而Neural ODE进一步挑战了离散时间的假设，它将隐藏状态的演化建模为一个连续时间的微分方程，用伴随方法替代反向传播，让预测成为动力学规律在时间上的自然展开。
最终，像TimeGPT和Aurora这样的基础模型开始涌现，它们在海量异质数据上预训练，旨在让记忆跨越系统边界，实现面对全新系统时的零样本预测。