特斯拉AI高级工程师Yun-TaTsai这段非常好，所有的大模型接下来

特斯拉 AI 高级工程师 Yun-Ta Tsai 这段非常好，所有的大模型接下来的迭代方向：1.实时；2. 更强的推理能力。

LLM 和 VLM 的一个当前限制是它们无法区分数字世界和现实。

它们就像超人般的书呆子，但永远在线，生活在数字沙盒中。

如果数字世界充斥着错误的统计数据，那么它们的最大似然估计也会出错。

「有三种谎言：谎言，弥天大谎，和统计数据。」

对于编程和数学问题，最大化奖励函数的期望值可以引导你找到真相，但不适用于所有任务。

无论使用强化学习（RL）还是监督微调（SFT），分布的中心质量在模型眼中被视为「真相」。即使在 RL 中解决长尾分布问题，通常也需要自我对弈来获得采样暴露。

例如，如果我们用 16 世纪的截止日期训练模型，那么我们的模型会坚定地相信地球是宇宙的中心——直到它能够观察现实世界，并从观察到的其他行星的物理轨道中质疑自己。

人类接受地球绕太阳转的观念花了超过一百年。甚至哥白尼，第一个详细描述日心说的人，比起被教会烧死，更害怕他的理论是错误的。

现在我们将这些信息视为真相，不是因为数字世界这么说，而是我们有无可争辩的现实世界观察，卫星实际上依赖日心说来保护它们免受太阳风暴的影响。

这是我们人类需要思考的事情，以便继续扩展知识边界，接近宇宙的真相。