众力资讯网

1.09亿参数打赢720亿?LeCun新论文真正想说的不是"小模型赢了"

#华为小艺聪明能干又懂我#10月29日,66岁的图灵奖得主Yann LeCun与布朗大学助理教授Randall Balestriero发布了一篇37页的论文,矛头直指AI行业最深的执念:想让AI更懂世界,是不是必须不断增加参数、堆更多算力?
论文里有两个被广泛转述的数字。第一,一个仅1.09亿参数的文本JEPA模型,在跨模态表征对齐测试中得分0.184,超过720亿参数的Qwen2.5-72B的0.154和Llama-3-70B的0.151,参数规模相差约660倍。第二,新方法只需2160万个训练样本,就达到下一Token预测模型用9亿样本才能获得的对齐水平,样本效率相差约42倍。
先把话说清楚:这不等于"小模型打败了大模型"。两项实验测的都是跨模态表征对齐——两个各自独立训练的模型,内部对同一个世界的"理解"能不能对得上。它不涉及语言生成、数学推理或编程能力。把数字读成"以后不用训大模型了",是标题党。InfoQ在解读里也专门强调,这并不是论文真正想表达的结论。
这项研究的根在2024年MIT团队提出的"柏拉图表征假说":一张照片由像素构成,一句话由Token构成,但它们指向的是同一个现实对象。如果AI真的理解了世界,图像模型和语言模型的内部表征就应当逐渐趋同,像柏拉图洞穴里不同的观察者看到同一个理念世界。2024年的论文只观察到了现象,LeCun这篇要回答的是:在什么条件下趋同必然发生,以及怎样更高效地实现。
技术核心叫Good Views:把不同模态当作对同一个世界状态的不同观察,让模型学习观察之间共享的稳定结构,而不是消耗容量去还原输入的每个细节。论文还给出了数学证明:在特定条件下,不同模态的JEPA即使独立训练,也能学到只差一个正交旋转的表示空间。这意味着图像和文本模型未必需要大规模联合训练,才能共享同一个语义坐标系。
对产业界,这意味着算力竞争的衡量方式在变。过去比的是GPU吞吐量,未来更要比"每一次计算获得的有效语义信息"。研究团队还展示了轻量对齐的实用性:用一个线性映射连接分别训练的视觉编码器与文本模型,在COCO图像描述任务上拿到0.838的CIDEr分数。视觉、语言、动作模型各自学习、再通过共享表征协同的架构,可能显著降低多模态任务的训练开销。
必须承认边界:论文的定理建立在理想化假设之上,JEPA在表征对齐上的优势也不等同于完整的世界理解,时序预测、因果推理、行动规划都还没解决。LeCun本人长期主张世界模型路线,这篇论文是在为JEPA提供理论支撑,而非否定规模化——论文甚至给出了跨模态对齐自身的经验Scaling Law。它挑战的是"唯规模论",不是规模本身。
但放在当下看,时机耐人寻味:巨头们正为万卡集群和GW级数据中心一掷千金,如果决定AI学习效率的不只是算力规模,还有"模型究竟在学习什么",那么以参数量和资本开支为核心的市场叙事,迟早要面对一次重估。至少,"堆参数是唯一路径"这个假设,第一次有了可检验的反例。#具身智能大脑混战##马斯克的太空算力散热方案可行吗##张朝阳:互联网被算法介入太厉害##