（P1）谈谈我关于Linear Attn的看法。
（P2）最早, Linear Attn是为了加速Softmax Attn而设计，思想就是移除Softmax，并且让KV先做乘法，以减少复杂度。
（P3）Softmax Attn 性能通常远好于Linear Attn，有一些原因，第一个，Softmax Attn可以看做是个两层MLP，而Linear Attn可以看做一个线性层。
（P4） 第二个原因，Linear Attn在更新过程中拥有固定大小的State，而Softmax Attn拥有持续增长的State（KV Cache）。但是研究者们发现，Linear Attn 有着非常好的数学可解释性，我们可以将token看作训练数据，我们在拟合一个线性函数（K为输入，V为目标），对State做梯度下降。
（P5） Linear Attn可以看作一种特殊的RNN。
（P6） 由Linear Attn的梯度下降视角，将其损失函数改为MSE，就得到了DeltaNet。
（P7） TTT (Test Time Training)提出了个更高的视角，将待拟合的线性函数改为非线性。
（P8） 如果将该非线性函数改为更一般的函数，我们甚至可以将Softmax Attn纳入该体系（见TTR）。
（P9）将Linear Attn（及其后续发展）写为bi-level opt（meta learning）。
（P10）TTT-E2E/In-place TTT/TTT-NTP，甚至提出了更高的视角，用token在线地更新网络权重，将学习范式推进到持续学习（甚至是RSI）。
（P11）从Softmax Attn到Linear Attn，是在对State做显式的梯度下降。从TTT到TTT-E2E/In-place TTT/TTT-NTP，是从State更新到权重更新。

起初，为了加速 Softmax Attn，人们提出了 Linear Attn。将其解释为在线梯度下降后，我们得到了 DeltaNet/TTT/TTR ；当更新对象从状态扩展到网络权重时，又自然连接到 Continual Learning，并与近年来受到关注的 RSI 相关。至此，Linear Attn 已不只是注意力加速方法，成为一种全新的学习范式。（完整 PDF 见个人主页）
#人工智能 #Attention #Transformer #RSI