众力资讯网

马毅老师等发布的开源教科书 《深度表征学习的原理与实践/记忆的数学理论》地址:a

马毅老师等发布的开源教科书 《深度表征学习的原理与实践/记忆的数学理论》地址:arxiv.org/abs/2606.06624“在当前的深度学习时代,尤其是在生成式模型蓬勃发展的背景下,人们投入了大量资源来训练规模极其庞大的生成模型。迄今为止,这类模型一直被视为“黑箱”:其内部机制不透明,难以理解,从而带来了可解释性、可靠性和可控性方面的困难。自然地,这种缺乏理解的状态既引发了过度炒作,也引发了担忧与恐惧。

本书试图从表征学习的视角出发,“打开黑箱”,理解大型深度网络的机制。表征学习是深度学习模型经验性强大能力的一个主要因素,甚至可以说是最重要的因素。本书的大致结构如下:第 1 章将概述贯穿全文的核心脉络。第 2、3、4、5 和 6 章将通过优化理论和信息论来解释现代神经网络架构的设计原则;一旦引入其背后的基本原理,长期以来被形容为某种“炼金术”的架构开发过程,就可以被化约为本科水平的线性代数和微积分练习。第 7 和第 8 章将讨论如何将这些原则应用于以更具范式意义的方式解决问题,从而得到一些新的方法和模型。这些方法和模型在设计上高效、可解释且可控,同时其能力并不逊色于它们所类似的黑箱模型,有时甚至更强。第 9 章将讨论深度学习未来可能的发展方向、表征学习的作用,以及一些开放性问题。”AI创造营