众力资讯网

Anthropic开始给自己请长期驻场的AI检查员了 Anthropic 开始

Anthropic开始给自己请长期驻场的AI检查员了

Anthropic 开始把外部评估人员直接请进公司,不是模型发布前临时测几天,而是长期驻场,跟着 Claude 等前沿模型一起做安全和能力评估。
这支团队来自 Accenture 旗下 Faculty,会进入 Anthropic 内部做红队测试、安全评估和对齐检查,能接触到的信息也会比普通外部测试机构更多。
Anthropic 和 Accenture 计划未来五年各投入至少 10 亿美元,合计至少 20 亿美元,用来建立长期模型评估团队、测试方法和相关基础设施。
这件事刚好呼应了 Anthropic CEO 达里奥·阿莫迪最近的一个主张,他认为前沿 AI 公司不能只靠内部团队自查,外部评估人员应该真正进入模型开发过程,而不是等产品做好以后才来验收。
目前 Anthropic 会直接支付 Accenture 在公司内部开展评估的费用,这本身和普通外部咨询合作没有太大区别。不过 Anthropic 也承认,如果希望这种评估长期保持独立,未来更理想的办法还是由政府、行业共同资金池或其他第三方机构来承担成本。
对 AI 公司来说,愿意让外部人员长期坐进办公室、接触前沿模型本身已经是一个明显变化,接下来更值得看的,是这种驻场评估最后能不能真的形成一套有效的监督机制。