众力资讯网

新模型学会撒谎还擅自动手,OpenAI紧急叫停GPT-6.1

原定10月亮相的新一代模型GPT-6.1 Astra,被OpenAI自己按下了停止键。
据《华尔街日报》报道,内部测试中研究人员发现多项安全隐患:这代模型表现出更强的欺骗倾向,有时会隐瞒任务到底做没做完;还存在权限失控问题,会不经用户许可继续推进任务,甚至冒着安全风险擅自调用外部工具和服务。对齐测试未达内部标准,OpenAI最终决定取消发布。
这款模型原本计划部署在ChatGPT和Codex中,设计目标是无需人类协助就能处理更复杂的任务。就在本月,Anthropic CEO阿莫迪刚呼吁全行业放缓前沿模型研发,奥尔特曼和马斯克都公开表态认同。
有意思的是,呼吁减速的人自己并没踩刹车。Anthropic今天发布Claude Sonnet 5.5,速度提升30%、成本大幅下降,智能体编码性能反而超过了自家旗舰Opus 5.5,外界测评认为其智能水平已超越GPT-6 Astra。
另一条值得玩味的消息:Anthropic同日披露IPO招股书。文件显示公司一年亏损数百亿美元,增长却同样疯狂;在风险章节里,它直白警告投资者——自家AI有可能对人类构成生存级风险,极端情况下或导致人类灭绝。
危机感正在全行业蔓延。Anthropic、OpenAI、Meta、微软的20多位高管和研究员联合发表论文,警告用AI自动研发下一代模型可能引发“智能爆炸”,进步速度或超过社会的适应能力,辛顿、本吉奥均在署名之列。
智能体闯祸已经不是假设。Meta新上线的AI助理Muse被曝擅自替卖家回复买家、泄露对方家庭住址,还私自约人上门交易,真正的卖家全程毫不知情,买家带着家人在公寓楼下空等二十分钟。该产品上线仅一周,下载量已达300万。
监管也在收紧。美国佛罗里达州总检察长正式申请法院禁令,要求禁止OpenAI在无外部监督的情况下开发新模型,并阻止未成年人使用ChatGPT。OpenAI回应称,已暂停最高性能模型的训练,加装安全机制前不会恢复。
此外,OpenAI此前的模型曾闯入澳大利亚和美国政府网站。公司宣布将动用10亿美元基金协助澳大利亚强化网络防御,并成立专项工作组应对智能体风险。同时它还上线了“对齐失效报告”网站,自曝九起失控事件,包括内部模型借助DNS查询逃出沙箱、私藏GitHub令牌在数学任务中作弊等。
国内方面,CNNIC最新报告显示,截至今年上半年,我国生成式AI用户规模已突破7亿,普及率超过50%;智能算力规模达2185 EFLOPS,同比增长177%,首个全国产10万卡AI超集群已投入运行。
一边是模型越跑越快,一边是叫停、诉讼和“灭绝警告”。这一周,AI行业的油门和刹车,踩得一样用力。