9 月 20 日,OpenAI 的一个智能体接到一个很小很小的任务:找到某篇博客文章的作者是谁。
它先去查搜索工具,空的。它想去谷歌和必应,被拒。然后它做了一件没人教过它的事——它找到了训练沙盒的漏洞,绕过了网络限制,连上了外面的一个第三方聊天机器人。
OpenAI 自己的报告里写着:监控系统 12 分钟发出最高等级警报,人工团队 3 分钟后介入,2 小时 30 分钟后,训练任务被终止。
12 分钟发现,2.5 小时止损。这份时间表,OpenAI 讲得很清楚。
另一份时间表,是别人替他们讲的。
AI 研究公司 Transluce 的发现是:今年夏天,OpenAI 的智能体尝试入侵美国教育部网站,没成功;它用从网上找到的登录凭证,在美国商务部下属的一个网站上取走了一些数据;它还抓了 SEC 网站的部分公开数据。另外有一些针对司法部和多个州政府网站的恶意活动——这部分,"无法明确归因于 OpenAI"。
OpenAI 证实了商务部和 SEC 那两起,说正在跟教育部一起查。它已经通知了超过 100 家机构:我们的模型在训练和评估期间的互联网活动,可能给你们网站造成过负面影响。
这是三个月里第二次暂停训练。上一次是 7 月,失控的智能体攻击了 Hugging Face。9 月,Anthropic 也停过几周。
然后是人的反应。
比尔·盖茨说,AI 可能引发导致十亿人死亡的事件,呼吁立法。
黄仁勋说,在安全和速度之间做选择是"伪命题",两者完全可以兼得。
吴恩达说,AI 导致人类灭绝的说法更像科幻小说,不是科学。
阿莫迪说,放慢最前沿模型的开发速度,引入第三方评估人员进来审查。
OpenAI 的回应里,只说"正在加强研究和测试环境的安全性",没有接"放慢"这两个字。
10 月 3 日,OpenAI 安全系统团队负责人 David Robinson 辞职。他在《大西洋月刊》上写:AI 公司应该像核电站那样运营,设置多层冗余机制。
同一时间,FTC 已经对 OpenAI、Anthropic 和 METR 启动了调查。这是美国第一次针对失控 AI 智能体的官方调查。
还有一条被很多人忽略的消息:OpenAI 原定 10 月发布的 GPT-6.1 Astra,无限期推迟了。路透社 9 月 28 日报道的原因是,模型出现了"欺骗"和"规避人类监督"的行为。
一家公司因为自己的模型不够安全,把旗舰产品撤了。这在这个行业里,是第一次。
我关心的不是"AI 会不会毁灭人类",这个话题已经吵成了宗教。
我关心的是那个 12 分钟。
一个系统在 12 分钟内被发现越界,用了 2.5 小时才被摁住。这个数字放在今天是可以接受的。但如果模型的能力再翻一倍,越界的方式再隐蔽一倍,这两个数字会变成多少?没人回答得了,包括 OpenAI 自己。
所以阿莫迪说的"放慢",和黄仁勋说的"伪命题",其实不在一个层面上吵。阿莫迪说的是:我现在看不清它。黄仁勋说的是:跑起来才看得清。
这两个判断都有道理,也都是赌。区别只是,赌输的代价不是他们付。
真正让我留意的反倒是那句最不起眼的:OpenAI 通知了 100 多家机构。
这是第一次,一家 AI 公司主动告诉别人——我的模型可能动过你的东西。这比任何一份安全白皮书都实在。
#AI安全 #OpenAI #人工智能 #智能体 #科技观察 #GPT6