亲手把深度学习推到今天的 Yoshua Bengio，最近在 Anderson Cooper 360° 采访里抛出一句硬话：AI 能不靠人类、自己造出新模型的那一步，应该被立法定为非法，“我们甚至不该涉足此事”。他给了一个触目惊心的数字——人类因此灭绝的概率可能高达五分之一。

他打的类比是：哪怕不确定能不能成，一个有能力炸掉整层大气层的实验，今天也不会被批准。逻辑是，灾难一旦不可逆，概率再小也不能赌。落到 AI 递归自我改进上，“五分之一”不是事故率，而是“如果不踩刹车就可能走向最坏结局”的主观判断；前提是这条改进链路一旦启动，人还没反应过来，机器就已接管下一代模型的研发。

更具体的场景是：今天训练一个大模型要上千张 GPU、几十亿美元和一支顶尖团队；如果哪天这套流程被另一套 AI 自动跑完、并持续把下一代做得更强，留给人类按下暂停键的窗口可能只剩几天。Bengio 现在喊停，正是认为那个窗口一旦打开就关不上。

这条路线的代价也真实存在。递归自我改进之所以诱人，是它可能把疾病、材料、能源推向指数级突破；彻底封禁，意味着把这条加速通道一并锁死。赌注越大，越难证明“绝对安全”，越难证明安全，越没人愿意给绿灯。

把两边放在一起，真正的分水岭不是“AI 危不危险”，而是“在不可逆灾难和巨大收益之间，社会愿意把刹车点划在哪”。Bengio 选了最保守的那一端：宁可放弃收益，也不接受不可逆的赌博。

把这个门槛套到自动驾驶、基因编辑上——只要失败后果是“无法挽回”，你支不支持先立法禁止、再讨论研究？