众力资讯网

这个星球上目前为止还没有任何一款软件或技术,可以100%准确地识别由 AI 创作

这个星球上目前为止还没有任何一款软件或技术,可以100%准确地识别由 AI 创作的文字内容。

但市面上又恰恰有很多网站,宣称自己可以对 AI 文本内容进行鉴别,于是演变成了一场互联网上的大型猎巫行动。

比如前几天,有人将教皇利奥警告 AI 风险的通谕放入 Pangram 进行分析,宣称这份通谕是由 AI 生成或 AI 辅助 —— 很快就有梵蒂冈相关人士辟谣:教皇是通过纸笔完成的这份通谕撰写。

不过这也不能完全洗清嫌疑,毕竟谁也不知道教皇是不是提前让 AI 输出的了文章,然后再一字不差地进行了全文背诵,最后才是在大家面前用笔进行了默写

Pangram 是目前英文语境下最权威的 AI 文本识别工具,它声称将人类文本误判为 AI 生成的概率仅约为万分之一。

多项独立分析也证实了该工具确实表现优异。芝加哥大学的一篇论文指出,在测试约 3000 篇、字数在 500 到 1000 字不等的样本文章时,Pangram 几乎没有出现任何判断失误。

但它有能力边界,目前只能保证所识别出的 AI 内容大概率由 AI 生成,但无法保证识别出所有的 AI 生成内容。

根据 Pangram 的数据,其漏判 AI 文本的概率大概是七十分之一。

简单解释下:因为今天顶尖大模型的文本能力大幅提升,加上各种降低 AI 味的skill、Agent 越来越普及,AI 写出的内容也越来越有人味,完全可以顺利逃脱各种检测。

换言之,今天 AI 检测工具能检测出的,大部分还是那些低劣的、直出的 AI 文本。

另外就是,这类所谓的 AI 文本识别工具,本质也是一种经过特殊训练的大模型。所以它的判定规则同样是黑箱,并不能给出具体的证据,更别提找出什么规律。

Pangram 的创始人 Spero 自己坦承:“算法的内部运作机制几乎无法解释。虽然我希望能将 AI 辅助的标签做得更精细,但我依然不确定这是否可行。”

这就带来了一个问题,任何人都可以靠着这项并不成熟的技术,去指控另一个人使用 AI 代写,从而毁掉对方的个人声誉和职业生涯,而且不用付出任何代价。

因为所有的代价都可以转嫁给这些 AI 检测工具的提供方。

本月早些时候,科技记者 Taylor Lorenz 在 X 平台上被指控用 AI 给《名利场》写稿,很快各方就介入了调查。

好在 Taylor Lorenz 保留了自己的文档编辑历史记录,而且 Pangram 在核对完检测结果后,公开承认是自己的软件出了差错。

否则 Taylor Lorenz 的记者生涯可能就会直接被断送。

可以预见,接下来在新闻界、学术界、文学界等将会掀起浩浩荡荡的 AI 检测浪潮。但对如何参考 AI 检测的结果,大家却没有共识与规范。

把 AI 监管规则建立在检测工具的可靠性上,无异于在退潮的海滩上堆沙堡,迟早会被淹没。