五万字对话实录：Claude创始人详解AI拐点！从扩展定律到AGI降临，一场改变人类未来的技术革命正在上演！（2）
摘自老瓦 老瓦AI小屋
大语言模型扩展的限制
莱克斯·弗里德曼：
那么，一个自然的问题是，扩展的上限究竟在哪里？现实世界到底有多复杂？AI需要学习多少知识才能真正理解世界？
达里奥·阿莫迪：
我认为，我们目前没人能真正回答这个问题。
不过，我的直觉告诉我，在达到人类水平之前，我们不会遇到真正的上限。换句话说，我们人类本身能够理解的模式，理论上也应该能够通过扩展AI模型来掌握。这意味着，如果我们继续扩展模型的规模、开发更高效的训练方法，并持续优化架构，我们至少能让AI达到人类的认知水平。
然后，问题变成了：超越人类智能的可能性在哪里？AI在某些领域能比人类更聪明、更具洞察力吗？如果可以，那这种超越的程度会有多大？我的猜测是，这个问题的答案取决于具体的领域。
莱克斯·弗里德曼：
你能举个例子来说明吗？在什么领域AI可能会轻松超越人类，而在哪些领域它可能会遇到难以突破的上限？
达里奥·阿莫迪：
当然。举个例子，在生物学（Biology）领域，我在《一切都被慈爱的机器注视着（Machines of Loving Grace）》这篇文章中提到过，人类仍然远未完全理解生物学的复杂性。
如果你去斯坦福、哈佛、伯克利这些顶尖大学，你会发现整整一个学院的研究人员都在研究免疫系统（Immune System）或代谢通路（Metabolic Pathways），但即便如此，每个研究者往往只能掌握该领域的一个小部分知识。生物学的复杂性远超个体的认知能力，因此，科学家们需要相互协作，将不同的研究成果拼凑在一起，以建立对整体系统的理解。
这让我有一种直觉，即在这样的领域，AI仍然有巨大的成长空间。AI可以帮助科学家整理、分析和推演大量的生物学数据，甚至发现人类可能忽视的模式。
但如果我们转向物理世界中的材料科学（Material Science），或者处理人类社会中的复杂冲突（Human Conflict Resolution），情况可能就不同了。某些问题，理论上或许可以解决，但它们的复杂度极高，甚至可能存在某种天然极限。
就像语音识别一样，即使AI模型非常先进，它也不能超越人类听觉的物理极限。如果音频信号本身太模糊，人类无法听清，那么AI也无法复原出完整的声音。因此，在某些领域，AI的上限可能与人类的认知极限非常接近，但在其他领域，这个上限可能仍然遥不可及。
不过，最终我们只能在真正构建这些系统时才能找到答案。我们可以推测，但无法确定。
莱克斯·弗里德曼：
在某些领域，AI的上限可能不仅仅是技术问题，而是人类社会体系的限制。比如，官僚体制是否可能成为AI突破的瓶颈？
达里奥·阿莫迪：
是的，这一点非常重要。
莱克斯·弗里德曼：
换句话说，上限可能不是AI本身的能力，而是人类如何管理AI的方式？
达里奥·阿莫迪：
完全正确。我认为，在许多情况下，技术的进步速度本可以更快，但它受到社会结构的限制。
举例来说，在生物医学研究（Biomedical Research）领域，我们有可能发明出许多新的突破性技术，比如更高效的药物、精准的基因编辑、甚至更先进的医疗设备。但问题在于，这些新技术必须经过严格的临床试验（Clinical Trial System），而临床试验本身是一个漫长且昂贵的过程。
从某种程度上来说，官僚体系可能会拖慢创新速度，但另一方面，它也起到了保护社会稳定的作用。如果监管放得太松，某些新技术可能会带来严重的安全风险。
整个挑战在于，我们很难分辨哪些规则是不必要的官僚作风，而哪些规则是真正有助于保护人类安全的。
莱克斯·弗里德曼：
如果我们在扩展定律的推进过程中遇到了瓶颈，你认为主要的原因会是什么？是计算能力受限？数据匮乏？还是人类的创新能力受限？
达里奥·阿莫迪：
目前来看，有几个关键限制因素，尤其是在AI达到人类水平之前，可能会遇到以下挑战：
1.数据枯竭（Data Exhaustion）
• 现在，越来越多的研究者担心，我们可能会 耗尽高质量的训练数据
• 互联网上的文本数据是 有限的 ，即便数据量庞大，其中很多内容是 低质量的、重复的，或者是搜索引擎优化（SEO）驱动的废话
• 未来，我们甚至可能面临 AI自己生成的低质量数据污染训练集 的情况
2.合成数据（Synthetic Data）作为解决方案
• 目前，我们和其他公司都在研究如何生成 高质量的合成数据 ，让模型 自己创造训练数据
• 例如，DeepMind 的 AlphaGo Zero 完全 不依赖任何人类棋谱 ，仅通过 自我对弈（Self-play） 就达到了超越人类的水平
• 这意味着，在某些领域，我们或许可以使用 类似的方法 来生成比互联网上现有数据更高质量的信息
3.模型架构的突破（Architectural Innovations）
• 在过去，我们曾多次遇到看似难以突破的技术瓶颈，比如 数值稳定性（Numerical Stability） 问题，或者 优化收敛（Optimization Convergence） 问题
• 但最终，我们都找到了解决方案，并成功突破了这些限制
• 如果AI扩展遇到了瓶颈， 也许我们需要发明新的优化方法，或者开发全新的架构 ，但目前，我还 没有看到真正的停滞迹象
莱克斯·弗里德曼：
计算能力呢？建设越来越大的数据中心成本高昂，这是否会成为扩展的限制？
达里奥·阿莫迪：
目前，大型AI公司的前沿模型通常在100亿美元级别的计算预算范围内运作。
• 2024年 ：我们预计模型的计算规模会达到 数十亿美元级别
• 2026年 ：可能会 突破100亿美元
• 2027年 ：或许会有公司尝试构建 千亿美元级别的计算集群
如果计算能力仍然不足，我们要么继续扩大计算规模，要么开发新的高效计算方法。
莱克斯·弗里德曼：
你是否已经看到某些新模型开始达到专业级水平？换句话说，当前最先进的AI模型在具体任务上的表现如何？
达里奥·阿莫迪：
是的，我们开发的一些新模型，以及来自其他公司的推理模型（Reasoning Models），已经开始达到博士级别或专业水平（PhD or Expert-Level Performance）。
如果我们看看它们在软件工程（Software Engineering）方面的表现，我们最新发布的Sonnet 3.5模型在SWE-bench上取得了大约50%的成绩。
SWE-bench是一个用于评估AI在专业软件工程任务上的基准测试，包含了一系列真实世界的编程挑战。回顾年初，当时最先进的模型在这个测试中的成功率仅为3%到4%，但在短短10个月内，我们的模型从3%提升到了50%。
换句话说，我们在不到一年的时间里，将AI的编码能力提升了十几倍。
莱克斯·弗里德曼：
这是一个相当惊人的进步。你预计这种趋势会持续吗？
达里奥·阿莫迪：
是的，我的预测是，在未来一年内，我们可能会达到90%的成功率，甚至可能更快突破这个水平。
我们不仅在编码任务中看到了这种现象，在数学、物理、生物学等高等学科领域，我们也看到了类似的趋势。例如，OpenAI的o1模型在这些学科的研究生级别测试中表现出色。
如果我们仅从已有的技能演进曲线进行推断，我们很可能在几年内让这些AI模型在专业领域的表现超越人类专家。
当然，这条曲线是否会持续，我们无法确定。正如你所指出的，我们也列举了可能导致扩展放缓的多种因素，包括数据限制、计算成本、架构瓶颈等等。
但如果这条扩展曲线继续保持当前的趋势，我们很快就会看到AI在越来越多的专业任务上超越人类。
