Transformer 记忆力超强，但处理长文本时算力成本呈平方级爆炸；
新型 RNN（如 Mamba）速度极快，但因记忆空间固定，长文本检索时极易“丢三落四”。
Google Research、康奈尔、南加州大学最新力作《Memory Caching: RNNs with Growing Memory》打破了这一僵局！
论文提出了一种简单有效的内存缓存（Memory Caching）技术，让 RNN 的有效内存容量随序列长度动态生长，在固定内存（RNN）和全注意力（Transformer）之间提供灵活插值。
在最考验“死记硬背”的大海捞针等检索（Recall）任务中，该机制让 RNN 的准确率无限逼近 Transformer，同时在同等参数下击败了目前市面上最先进的（SOTA）新型循环模型，用极低的计算代价换取了超强的长文本能力！
Transformer 时代或将迎来高效挑战者？AI 成本有望大降！
如果你觉得对你有用的话 ~ 欢迎点赞收藏并分享给你的盆友们~非常感谢！（可直接down论文哦~ ）👇🏻
