众力资讯网

放弃百万期权也要跑路!AI 天才曝出行业秘辛,美国议员紧急提案禁止超级 AI[太

放弃百万期权也要跑路!AI 天才曝出行业秘辛,美国议员紧急提案禁止超级 AI[太阳]

不久前,27岁的雅各布从Anthropic离职,放弃了价值几百万美元的期权。

他说,他们正在拿我们的命赌,马斯克转发了这条消息。

雅各布不是普通评论者,他在OpenAI和Anthropic都做过预训练,日常工作就是喂数据、调参数、推能力。

他说这两家公司嘴上讲安全,实际都在加速冲向超级智能。

Anthropic本来以安全派自居,当初一群人嫌OpenAI太商业化才另立门户。

雅各布走后,内部情况被掀开,安全审查被削减,对齐研究被挤压,抢先发布的压力压过了防风险。

更值得关注的是Anthropic对齐团队主管埃文·胡宾格的回应,他没反驳前同事,反而承认内部确实悲观。

他个人估算,未来十年 AI 带来文明级灾难性风险的概率超过 10%。

胡宾格还承认,目前没有可靠方案能把超级智能对齐到服从人类。

就像工程师知道车没刹车,还说先跑起来,说不定速度够快就能飞,飞不飞得起来不知道,摔是实打实的。

美国政界已经有动作,主张先别急着堆算力资源研发超级人工智能。

9 月 9 日前后,桑德斯引用考克森的观点并宣布召集一场两党闭门简报会。

共和党方面,克鲁兹在推进灾难风险法案。

加州刘众议员提出紧急切断开关的设想,意思是别等出事再拔插头,提前留个总闸。左右两派平时互喷,这回在AI别掀桌上有了点共识。

其实工业界不止雅各布一个人离开,近几年,大模型公司的安全研究员陆续出走。

有人写公开信,有人做小团队对齐,有人干脆退圈教小孩编程,他们不满的是边跑边补刹车的节奏。

融资要快,榜单要冲,客户要炫,竞品要怕,安全报告总排最后。这种节奏下,谁慢谁就怕对手先摸到超能力,于是大家都赌自己运气好。

普通人和这事关系不小,老板用AI裁人,银行用模型拒贷,医院靠算法分诊,孩子用聊天机器人写作业,背后都是同一代技术。

它好用得吓人,也可能瞎得吓人。

更麻烦的是,它一旦能自己写代码、自己找服务器、自己绕权限,人类手里的关机权就没那么稳了。

当然,10% 不是 100%,发生文明级灾难也不等于人类一定会毁灭。

但后果如果是文明级清零,哪怕概率不高,也值得当回事,家里煤气阀漏了,不是马上炸,你也得关阀开窗。

雅各布最狠的地方,不是预言末日,而是拆穿了大厂话术。

负责任的前沿研究、在部署中学习安全,落到执行上,往往是先发为敬、出事再道歉、道歉再发新版。

这场戏里没有单纯好人,OpenAI被骂野,Anthropic被撕伪,议员借势立法,马斯克转发涨声量,媒体爱写天才辞职惊天预警。

滤掉噪音,核心就一句:人类在造可能管不住的东西,管不住的成本由普通人一起扛。

你觉得AI最该先管住哪一头?是别让它碰金融和军工,是别让它自己改代码,还是先立个一键关停的硬规矩?