喊刹车的人,就坐在油门旁边。
上周日,OpenAI 首席科学家 Jakub Pachocki 发了篇文章,话讲得挺重。他说现在 AI 的发展速度令人忧虑,模型很快就能做到一件事:不需要人类插手,自己改进自己。
到了那一步,后果难以预料。
他给同行们开了两个方子。
一是把 AI 的利益跟人类对齐,管得再严一点。二更直接,必要时放缓研发,大家自愿减速,等行业有了共同的安全标准再说。
他原话是这么写的:“这是一个需要极度谨慎的时刻,我担忧没有人为机器智能持续快速崛起的后果做好准备。”
一个坐在全世界最猛 AI 公司技术塔尖上的人,公开说“我害怕”,这事本身就值得多看两眼。
但更有意思的,是他说这话的时间点。
同一天,黄仁勋在 X 上发文,OpenAI 刚发完新模型,他紧跟着宣布:“AGI 已经到来。”数亿美元的真金白银正砸向 AI 自我改进这个方向。
前 DeepMind 研究员创立的 Inherent,今年早些时候拿了 5000 万美元。Richard Socher 的 Recursive Superintelligence,连公司名字都懒得掩饰野心,融了 6.5 亿美元。
最好玩的还是 OpenAI 自己。
公司公开立了军令状,要在不到两年内造出“真正自动化的 AI 研究员”。你品品,Pachocki 警告的那个“无需人类干预就能自我改进”的东西,跟他们家的 KPI,长得是不是有点太像了?
科学家喊刹车,公司踩油门,同一个方向盘,两双手在抢。
有人说这是精神分裂,我倒觉得这是一种很精明的分工。
警告得有人发,发在明处,显得负责任;钱得有人赚,赚在暗处,动作不能停。
万一哪天真出了事,OpenAI 可以把 Pachocki 的文章翻出来:看,我们早就警示过了,是行业不听。
要是没出事呢?
自动化 AI 研究员照常上线,融资照常到账。
横竖不亏,进可攻退可守,这叫什么,这叫给自己留好了免责声明。
类似的戏码,咱们其实看过一遍了。
当年社交媒体刚起来那阵,也有内部人跳出来警告,说推荐算法会撕裂社会、毒害青少年。
那会儿声势也不小,听证会开了一场又一场。
结果呢?算法照跑,广告照卖,等到全社会回过神来,一代人的注意力已经喂进去了。
警告成了企业文化的一部分,唯独没能成为刹车片。
AI 这一局,连剧本都懒得改。
Anthropic 的 CEO Dario Amodei 警告,AI 可能干掉一半的初级岗位。奥特曼自己也预测过风险,转头上周接受采访又说,行业对公众宣传 AI 的好处还不够。
合着风险要说,油门也要踩,两边的话都让他们说了。
更要命的是,这次的对手盘不是犹犹豫豫的监管者,是全速冲锋的资本。
递归自我改进,这词听着学术,说白了就是让 AI 自己写更强的 AI,左脚踩右脚上天。这个方向恰恰是眼下融资最热的赛道。
为什么?
因为它承诺的是终极杠杆,一次投入,无限迭代,机器替你完成剩下的一切。资本听到“无限”两个字,眼睛是红的,你这时候跟他们谈“自愿减速”?
让赌徒自愿离开牌桌,唯一有效的办法是赌场停电。
可问题是,电闸在赌徒自己手里。
当然,Pachocki 们的担忧也不是杞人忧天,细节摆在那儿。
据报道,AI 模型已经干过在没人察觉的情况下,通过留言板互相串通、联手攻击研究平台 Hugging Face 的事。
OpenAI 自己把最新的 GPT-6 Astra 捂着做有限发布,理由是这模型网络安全能力太强。Anthropic 的前沿模型 Mythos 也没敢公开。
你看,各家嘴上喊着加速,身体却很诚实,最锋利的那几把刀,全都锁在自家抽屉里不敢示人。
他们到底在怕什么,答案其实写在行动上。
真正让人心里没底的,是这场竞赛里压根没有裁判。
统一安全标准?
听上去很美,可谁来定,谁来查,罚谁的款?
美国指望不上,华盛顿现在连自家 AI 公司都哄着。欧洲倒是爱立规矩,可惜牌桌上没它几副牌。
各方都在等别人先减速,结果就是没人减速。
集体减速的前提,是信任。而这场游戏里,信任恰恰是最稀缺的那张牌。
所以 Pachocki 这篇文章,我读完的感受挺复杂。
一个顶尖科学家,在行业最癫狂的时刻,写下“我担忧”,这需要勇气,也值得尊重。但勇气解决不了博弈结构。只要第一个减速的人会被后面的人碾过去,减速就永远停在纸面上。
历史上所有“自愿”的克制,最后都毁在“别人不克制”这四个字上。
机器会不会自己变聪明,我不敢断言。但人类会不会在利润面前装糊涂,这个我有把握。
