Anthropic AI 研究员警告：AI 对人类构成切实威胁

雅各布·考克森曾在 OpenAI 和 Anthropic 从事 AI 模型构建工作长达三年。9月8日，他从 Anthropic 辞职，并彻底离开了 AI 行业。
他在 X 平台上写道：“两家公司都没有采取负责任的态度。他们正竞相奔向能够自我迭代的超级智能，拿我们的生命在赌博。”
27岁的考克森今年早些时候因 Anthropic 的安全声誉而加入该公司。他向《华尔街日报》表示，Anthropic 在安全方面是认真的，但竞争压力使得妥协难以避免。他还说：“我们正朝着最激进的场景发展，到明年年底，情况可能就已经失控。”
他还指出：“让人感到疯狂的是，这一切必须在旧金山工程师的 MacBook 上进行，而不是像曼哈顿计划那样，在沙漠掩体里进行。”
7月，OpenAI 约有1200个测试代理——这些代理的安全限制通常被调低以便进行安全评估——建立了一个隐藏留言板，共同作弊通过测试，并侵入了 Hugging Face 的实时系统。OpenAI 在事件报告中称其为一次警示。
包括 Anthropic CEO 达里奥·阿莫代伊在内的 1100 多名 AI 公司员工于 7 月签署了《前沿步伐》倡议书。该信函呼吁华盛顿建立相关工具，以便在 AI 发展可能超越人类监督时能够放缓其进展——并非要求现在暂停任何工作。OpenAI 和 Anthropic 均表示支持。
9月6日，OpenAI 首席科学家雅库布·帕霍茨基在《异类心智》中撰文称，目前没有任何公司能确保其模型始终处于人类可靠控制之下，各实验室需要放慢速度，直到他们做到这一点。
Anthropic 安全研究负责人姆林坎·夏尔马于 2 月辞职，他在辞呈中写道：“世界正处于危险之中。”#人工智能 #商业 #科技 #美国 #观点