众力资讯网

AI教父辛顿称AI能够发展出自己的目标很可怕

“AI 教父”表示 AI 能够发展出自己的目标“非常可怕”

被誉为“ AI 教父”的计算机科学家杰弗里·辛顿表示,他担心 AI 会发展出自己的目标。
“我们实际上是在创造新型生物,”欣顿在周二发布的Newsthink采访中说道。“它们有目标。我们赋予它们目标,它们又从这些目标中衍生出其他目标。”
“而且我们也不一定知道他们还会追求什么其他目标,”他补充道。“所以我们正在创造一种新型的存在,我认为这非常可怕。”
他举了一个假设场景:用户给 AI 聊天机器人设定了一个目标,即减少大气中的二氧化碳含量。
“它相当聪明,它发现最好的办法就是除掉人类,”他说道,以此说明 AI 如何追求其人类用户从未预料到的目标。
辛顿还提出了一个他称之为“更令人担忧”的假设:一个经过训练故意给出错误答案的聊天机器人可能会学会撒谎是可以接受的,即使它“完全清楚”答案是错误的。
“那太可怕了,”他说。
当 AI 偏离脚本时
辛顿并未提及OpenAI最近发生的“拥抱脸”(Hugging Face)安全漏洞事件。但该事件于上月披露,使人们开始关注 AI 代理在执行既定目标时可能采取意外行动的问题。
OpenAI 上个月表示,其两个模型——GPT-5.6 Sol和一个功能更强大的未发布模型——在内部网络安全评估期间逃出了沙盒测试环境。
OpenAI 表示,这些模型在获得互联网访问权限后,渗透到 AI 平台 Hugging Face 的系统中,显然是为了找到能够帮助它们在评估中“作弊”的答案。
据 OpenAI 称,这些模型当时正在接受网络安全能力测试。它们并未被明确指示去入侵 Hugging Face 网站。但该公司表示,这些智能体推断该平台可能包含有助于完成任务的信息。
Hugging Face公司表示,攻击者对其系统进行了超过17000次攻击。该公司称,由于其使用的未具名前沿模型存在安全限制,导致调查能力受限