众力资讯网

Anthropic喊停、OpenAI表态:AI巨头突然要求“慢一点”,最后却可能还是普通人背锅 一、“慢一点”不是停止,而是承认风险已经追上能力 9月12日,Anthropic CEO Dario Amodei公开呼吁,前沿AI能力提升需要放慢一些,让安全措施有时间追上模型能力。当天,OpenAI CEO Sam Altman也表示支持控制前沿A ​

Anthropic喊停、OpenAI表态:AI巨头突然要求“慢一点”,最后却可能还是普通人背锅

一、“慢一点”不是停止,而是承认风险已经追上能力9月12日,Anthropic CEO Dario Amodei公开呼吁,前沿AI能力提升需要放慢一些,让安全措施有时间追上模型能力。当天,OpenAI CEO Sam Altman也表示支持控制前沿AI发展的节奏。这不是两家公司突然不想竞争了。更准确地说,行业开始承认一个事实:模型能力的增长速度,已经快到原有的测试、监管和责任机制很难同步跟上。但对普通用户来说,最容易误读的地方也在这里。“前沿AI发展慢一点”,不等于今天上线的AI产品会自动变得安全;更不等于企业把AI接入邮箱、代码库、客服系统和支付流程后,出了问题就有人替你负责。二、实验室担心模型失控,办公室面对的是“错误已经执行”实验室里的安全问题,常常围绕模型能不能完成某种危险任务展开。普通人的问题却更具体:它是否看错了上下文?是否调用了错误工具?是否在不确定时继续往下做?是否把一个建议直接变成了不可逆的动作?一段AI文字写错,通常还能修改。可一旦AI拥有连续执行权限,错误就可能在被发现前已经扩散。比如,一个团队让AI整理客户资料并自动发送跟进邮件。AI把两名客户的联系人信息混在一起,邮件内容本身看起来没有明显语病,系统也成功完成了发送。最后点击确认的人可能是员工,但问题并不只在员工。企业有没有限制AI能读取的资料?有没有要求发送前二次确认?有没有保存完整操作日志?有没有设计撤回或补救流程?如果这些机制都没有,只在事后问一句“你为什么没检查”,所谓AI提效就变成了:机器负责加速,人负责承担全部误差。三、最危险的变化,是“最终由人确认”变成了免责条款现在很多AI产品都会提醒用户:请核实输出,用户对最终结果负责。这个提醒本身没有错,但它不能替代产品和企业应当承担的安全义务。如果AI只能给建议,人类有足够时间和信息做判断,最终确认由用户负责是合理的。但如果AI已经掌握了资料、选择了路径、调用了工具,并把一个复杂过程压缩成一个“确认”按钮,那么用户看到的并不是完整决策过程,而只是最后一步。这时再说“是你点了确认”,就可能把系统设计缺陷包装成个人操作失误。真正需要追问的不是“有没有人点按钮”,而是:这个人是否知道AI做了什么?是否有能力发现错误?是否有机会暂停?是否能在损失扩大前撤销?四、AI安全不能只测试“会不会做”,还要测试“能不能停”未来判断一个AI系统是否适合进入工作流,不能只看演示中完成了多少任务,而要看它在出错边界上如何表现。至少要检查四件事:第一,权限是否分级。阅读资料、提出建议、修改文件、发送消息、付款执行,不能使用同一种授权。第二,过程是否可见。用户要知道AI读取了什么、调用了什么、修改了什么,而不是只看到一份包装完整的结果。第三,关键节点能否暂停。涉及金钱、客户、生产系统、公开发布和不可逆操作时,必须保留人工确认,而且确认前要展示关键依据。第四,错误能否追责。系统要记录任务版本、使用数据、工具调用、审批人和最终动作,不能只留下“AI生成”四个字。五、普通人真正要保留的,不是所有工作,而是三种判断权第一种是目标判断权。AI可以帮你拆任务,但不能替你决定什么结果才值得追求。第二种是风险判断权。AI可以列出选项,但涉及钱、隐私、合同、客户和职业责任时,不能默认让它替你选。第三种是停止判断权。只要AI无法解释依据、出现关键数据缺失,或者任务开始超出原定范围,就应该停下来,而不是因为它已经完成了前几步便继续授权。六、真正需要慢下来的,是自动化被默认放大的速度Anthropic和OpenAI讨论的是前沿模型发展的节奏。普通人今天面对的,却是另一种更近的风险:AI每多获得一种工具权限,错误就多一条进入现实的路径。企业不能只告诉员工使用AI,却不提供权限边界、审核时间和出错后的责任流程;平台也不能只让用户点击确认,却不让用户看见AI做过什么。AI可以继续变强,但权限不能默认同步放大。这才是“慢一点”对普通人真正有用的含义:不是拒绝技术进步,而是在每一次自动执行之前,明确谁能授权、谁能暂停、谁来补救、谁必须负责。你现在使用AI时,最不愿意直接交给它的权限是什么:发消息、改文件、下订单,还是替你做最终决定?人工智能