众力资讯网

提到Jeff Dean和李飞飞,应该都会肃然起敬。一个是谷歌核心底层技术的奠基人,另一个是开创了ImageNet、直接推动了深度学习浪潮的AI教母。 这两个几乎可以代表硅谷技术最高水准的人,最近在斯坦福罕见地同台对谈了。 面对当下被捧上天的RSI概念,也就是机器自己教自己的无限加速循环,这两人展 ​

提到Jeff Dean和李飞飞,应该都会肃然起敬。一个是谷歌核心底层技术的奠基人,另一个是开创了ImageNet、直接推动了深度学习浪潮的AI教母。

这两个几乎可以代表硅谷技术最高水准的人,最近在斯坦福罕见地同台对谈了。

面对当下被捧上天的RSI概念,也就是机器自己教自己的无限加速循环,这两人展现出了极其罕见的冷思考,非常推荐大家去了解一下~

看完这场干货满满的对话,你会发现,真正站在山巅的人,看到的风景其实比我们想象的要踏实得多。

1平时刷新闻看到机器寻找模型架构,总觉得超级智能马上降临。传言说一旦AI学会自己升级,就会像滚雪球一样越来越快。Jeff Dean直接反驳了这种狂热幻想

我特别喜欢他极度实在的工程视角。他清楚自动化带来的好处,机器自己判断下一步确实加快了研发节奏。但这仅仅免去了人的等待时间。不管脑子转多快,只要在真实世界运行,就得遵守物理常识。

计算机需要调用显卡跑计算,海量数据要存进物理硬盘,新模型还要花时间分析结果再去决定下一个实验。只要涉及物理运转就会产生摩擦力。

我这才意识到,这些现实的摩擦力死死限制了机器改进的速度。 李飞飞接的那个比喻特别准。她说这就好比普通人学做煎蛋卷。你第一次烧糊了,做了十次终于摸到门道,这是普通的自我改进。如果在过程中大脑学会更高效地接收知识,这才是所谓的递归自我改进。哪怕具备顶级的学习能力,你也必须花时间去打蛋、等锅热。

任何实验的循环都不可能无限快。

2这场对谈还解答了我长期以来的一个困惑,机器思维和人类思维到底差在哪。最近很多数学难题被机器用算力强行解开。针对这种现象,Jeff Dean讲了一个特别有意思的观察。现在的AI确实能凭借庞大算力,甩出一份长达500页的代码证明。

机器可以飞速检查逻辑,但人类数学家看着这500页天书,依然不知道它到底是怎么解出来的。 我非常认同他接下来的判断。一个问题能被强行证出来当然重要,但这充其量只是一半价值。人类真正需要并且一直在追求的东西叫作优雅的解法。 清晰简洁的解法不仅解答了眼前问题,更重要的是它往往能抽象成一种新工具。

人类拿着这个工具,就可以去劈开其他领域的硬骨头。机器靠算力穷举拼凑出正确的终点,但这种强行计算的过程很难转化为人类可复用的武器。去寻找极致的优雅,恰好就是人类无可替代的价值。

3对机器能力的客观拆解让人踏实,而Jeff Dean对自己职业生涯的坦白,简直能治好大多数人的焦虑。

我们总觉得大牛走的全是开挂路线,事实完全相反。

Jeff Dean笑着抖出了自己的黑历史。2016年,他和另外两位大牛写了一篇关于神经网络知识蒸馏的论文。简单说就是让昂贵的老师模型去教会灵活的学生模型。

这篇后来被视为让大模型变高效的奠基性文章,当年刚投出去就被顶会拒稿了。审稿人觉得这东西不太可能产生实际影响。

结果大家都知道,这篇论文到今天的引用量接近四万次。

连发明核心技术的人都会被同行看轻,连天才都会预测错演进方向。Jeff Dean大方承认自己当年完全没料到机器编程能力会变得如此关键。他期待神经网络进化出不规则结构,现实的发展却依然非常规整。

这才是科技发展最真实的面貌,充满了试错、误判和偶然。从来没有什么上帝视角。

每天都有新概念催着我们适应技术浪潮,听完这俩人的聊天,你会觉得紧迫感大可不必。连最前沿的缔造者都在老实面对物理常识,都在不停被现实打脸后再修正方向。我们完全没必要盲目崇拜看不懂的概念。

看清现实限制,找到真正有热情去干的事情,用现成工具搞定具体麻烦。

用平视的心态面对变化,大概才是今天最稳妥的姿态。