放弃百万期权也要跑路!AI 天才曝出行业秘辛,美国议员紧急提案禁止超级 AI[太阳]
不久前,27岁的雅各布从Anthropic离职,放弃了价值几百万美元的期权。
他说,他们正在拿我们的命赌,马斯克转发了这条消息。
雅各布不是普通评论者,他在OpenAI和Anthropic都做过预训练,日常工作就是喂数据、调参数、推能力。
他说这两家公司嘴上讲安全,实际都在加速冲向超级智能。
Anthropic本来以安全派自居,当初一群人嫌OpenAI太商业化才另立门户。
雅各布走后,内部情况被掀开,安全审查被削减,对齐研究被挤压,抢先发布的压力压过了防风险。
更值得关注的是Anthropic对齐团队主管埃文·胡宾格的回应,他没反驳前同事,反而承认内部确实悲观。
他个人估算,未来十年 AI 带来文明级灾难性风险的概率超过 10%。
胡宾格还承认,目前没有可靠方案能把超级智能对齐到服从人类。
就像工程师知道车没刹车,还说先跑起来,说不定速度够快就能飞,飞不飞得起来不知道,摔是实打实的。
美国政界已经有动作,主张先别急着堆算力资源研发超级人工智能。
9 月 9 日前后,桑德斯引用考克森的观点并宣布召集一场两党闭门简报会。
共和党方面,克鲁兹在推进灾难风险法案。
加州刘众议员提出紧急切断开关的设想,意思是别等出事再拔插头,提前留个总闸。左右两派平时互喷,这回在AI别掀桌上有了点共识。
其实工业界不止雅各布一个人离开,近几年,大模型公司的安全研究员陆续出走。
有人写公开信,有人做小团队对齐,有人干脆退圈教小孩编程,他们不满的是边跑边补刹车的节奏。
融资要快,榜单要冲,客户要炫,竞品要怕,安全报告总排最后。这种节奏下,谁慢谁就怕对手先摸到超能力,于是大家都赌自己运气好。
普通人和这事关系不小,老板用AI裁人,银行用模型拒贷,医院靠算法分诊,孩子用聊天机器人写作业,背后都是同一代技术。
它好用得吓人,也可能瞎得吓人。
更麻烦的是,它一旦能自己写代码、自己找服务器、自己绕权限,人类手里的关机权就没那么稳了。
当然,10% 不是 100%,发生文明级灾难也不等于人类一定会毁灭。
但后果如果是文明级清零,哪怕概率不高,也值得当回事,家里煤气阀漏了,不是马上炸,你也得关阀开窗。
雅各布最狠的地方,不是预言末日,而是拆穿了大厂话术。
负责任的前沿研究、在部署中学习安全,落到执行上,往往是先发为敬、出事再道歉、道歉再发新版。
这场戏里没有单纯好人,OpenAI被骂野,Anthropic被撕伪,议员借势立法,马斯克转发涨声量,媒体爱写天才辞职惊天预警。
滤掉噪音,核心就一句:人类在造可能管不住的东西,管不住的成本由普通人一起扛。
你觉得AI最该先管住哪一头?是别让它碰金融和军工,是别让它自己改代码,还是先立个一键关停的硬规矩?
