Ilya 和 Dwarkesh Patel 这个播客，还是讲了很多那种 AI 领域房间里的大象式的洞见：- AI 的新公司多得要死，关于 AI 的新 idea 少得可怜。AlexNet 这个想法是由 2 个 GPU 验证的，而 Transformer 用了 8 - 64 GPU，等效相当于今天的 2 个 GPU？范式级的创新并不需要海量算力，真正改变世界的范式级突破，用极少的算力就做出来了。只有行业里没有创新，都在用同一个技术范式，才会陷入比算力，比卡多，比钱多的竞争。- 今天这些顶尖模型最让人困惑的一点是：他们在各种评估中表现非常出色，但对经济贡献非常拉跨？从根本上来说，这是因为评估中的问题被拟合优化了，模型只在这些评估中表现出色，但没有泛化能力，模型在评估中的性能和现实世界中的性能脱节了。强化学习训练太针对评估，死记硬背刷题，泛化能力又太差，实操一下就完蛋。- 2012 - 2020 年是 AI 研究的时代，20 - 25 年是 scaling 规模化的时代。但是不是说规模化 100 倍，一切都尘埃落定了？不对，今天又重新到了 AI 研究的时代，只不过研究工具多了一台大计算机而已。- 关于研究的 taste，做 AI 研究的评判标准不应该是数据、不是 benchmark，Ilya 的信条是，真正强大的 AI 应该非常类人，非常像人的大脑。AI 的设计不能有一点儿丑陋、笨拙、拼凑的感觉，必须是极致的简洁、优雅，且灵感来自人的大脑。这种信念非常重要，因为研究中会遇到实验失败、数据暴跌，团队想放弃的时候，唯一能让你判断「这只是 bug 而不是路线错误」的，就是那种「我觉得它就应该是这样」的顶层信念。- 今天搞 AGI 的思路偏了，预训练走了太远。人其实不是 AGI，人没有海量的知识，人不是百科全书式的，相反，人的厉害之处在于持续的学习能力。SSI 要做的模型类似一个绝顶聪明的 15 岁的孩子。他其实懂得不多，但求知欲旺盛，非常好学。你可以想象，这个模型的推送本身就是一个学习、试错的过程。推送的不是一个成品，推送给你后，它还会持续学习下去。