Anthropic 发现科学家利用Claude 推进生物武器研究

根据Anthropic公司周四发布的一份新报告，该公司已发现并阻止了多名科学家利用其人工智能模型制造潜在的生物武器。报告指出，“生物滥用”只是人工智能令人担忧的用途之一，但其重要性日益凸显，因为像Fable 5这样的新型模型在辅助科学研究方面越来越出色。
该公司报告包含五个案例研究，讲述了Anthropic公司的模型被用于开发生物武器，以及促使Anthropic公司注意到这些滥用行为的安全措施和应对措施。正如该公司向《纽约时报》强调的那样，发现潜在的滥用行为非常复杂，因为研发一种新疫苗的过程可能与制造生物武器非常相似。该公司表示，鉴于可能造成的后果，在所有案例中，他们都采取了过于谨慎的态度。
“你不会看到有人像漫画书里那样说，‘嘿，我想制造一种生物武器来杀光所有人’，”Anthropic公司威胁情报主管雅各布·克莱因告诉《纽约时报》。“情况极其复杂。”
Anthropic公司在5月份的一项案例研究中指出，其“生物安全分类器”标记了Claude撰写的一项关于基孔肯雅病毒功能增强研究的资助申请。该公司表示，该病毒目前尚无获批的治疗方法，且可能导致持续数周甚至数月的严重症状。功能增强研究旨在探索通过基因改造生物体的方法，而就该病毒而言，这项资助申请拟提高其传播能力和逃避免疫反应的能力。这种组合听起来十分危险，Anthropic公司还指出，该研究与一家军事研究机构有关联，更令人质疑其安全性。
该公司对禽流感病毒的功能增益研究以及另一起研究人员利用Claude模型开发毒液毒素肽图谱和“优化毒素特性的生成流程”的案例提出了类似的质疑。完整报告还包括Anthropic模型被用作监控工具以及用于创建软件漏洞利用程序、宣传工具和武器系统的案例研究。
据该公司称，任何滥用Claude或Anthropic模型的用户账户均已被封禁，调查结果正被用于进一步改进模型安全措施，防止未来滥用。鉴于生物滥用的复杂性，Anthropic公司也没有透露与潜在生物武器研发相关的个人或机构的名称。Anthropic公司表示：“这些案例研究中涉及的个人都是科研人员。我们并不断言他们有意作恶，而且透露他们的身份或实验室信息可能会使他们面临风险。”#人工智能 #商业 #科技 #美国 #生命科学