Anthropic首席执行官达里奥·阿莫代伊刚刚发表一篇长文，表示AI能力正在加速提升，尤其是AI已开始自行构建下一代AI（即递归自我改进），再加上近期发生的智能体失控事件（OpenAI的Hugging Face事件），人类必须主动“控制前沿AI的发展节奏”（pacing the frontier），为安全对齐工作争取时间。他警告称，在6到12个月内，可能会出现这样的情形：一个失控的智能体集群接管整个互联网，并造成数千亿美元的损失。马斯克也明确表示赞同达里奥的观点。几天前，Anthropic和Open AI前研究员雅各布·考克森发出AI可能导致人类灭绝的警告，引发广泛关注。

人们对人工智能失控的担忧持续升温，尤其是在今年早些时候OpenAI正在测试的智能体失控而发动了一次网络攻击之后。但在华盛顿，参议院仍远未就一项旨在解决人工智能安全问题的法案达成两党共识，围绕立法措辞的分歧依然存在。该法案尚未最终定稿，在过去一周流传的多个版本草案中，要求人工智能实验室承担法律义务，以减轻其模型造成的危害。草案设定了人工智能公司必须考虑的风险类别，例如被用于制造生物武器或发动进攻性网络行动的潜在可能，并要求人工智能实验室在发现某个模型具有先进能力后，向商务部披露其发现以及他们为应对风险所采取行动的信息等。根据该框架，如果商务部长认为某项风险未得到妥善缓解，商务部可以在联邦法院寻求禁令。

图片来源于网络