众力资讯网

学术圈要被这篇论文吵翻了。 哈佛的 Gary King 团队做了一个实验: 124 篇社科论文,每篇都有一份人类专家写的审稿意见。这些专家报酬不低,审稿质量还被期刊编辑和作者评为特别好。 然后再让 Claude Opus 4.8 写一份,两份放一起比。 结果: 1、让 AI 当评委,134 对里全部觉得 AI 的审稿更好 2、换 ​

学术圈要被这篇论文吵翻了。

哈佛的 Gary King 团队做了一个实验:124 篇社科论文,每篇都有一份人类专家写的审稿意见。这些专家报酬不低,审稿质量还被期刊编辑和作者评为特别好。然后再让 Claude Opus 4.8 写一份,两份放一起比。

结果:1、让 AI 当评委,134 对里全部觉得 AI 的审稿更好2、换成大期刊的人类主编来评,30 对里 26 次选了 AI,87%3、拆成 7 个维度看,引用来源、找弱点、方法、理论、表达、图表,AI 全部胜出

沃顿的 Ethan Mollick 转发时说:学术界得赶紧想清楚,科学研究这件事要怎么适应 AI。

我的想法是,审稿只是开始。所有“看一份东西,给出专业意见”的工作,合同审核、方案评审、作业批改、内容审稿,都会遇到同样的问题。以后值钱的,可能不是“会挑毛病”,而是“知道该挑哪里”的判断。