加利福尼亚州的一位全职奶爸，因为他遵循医嘱拍摄了他生病的孩子的照片，就被谷歌的AI儿童性虐待过滤器“抓住”，引发了噩梦般的连锁反应，最终以警方调查告终。

不仅如此，谷歌已将这些照片标记为有害内容，并且禁用了这位父亲的电子邮件、联系人和照片的帐户，即使在他提出上诉后仍然拒绝撤销他们这一荒唐的决定。

小孩的医疗照成了AI逮捕他的证据

马克是一名前软件工程师，因儿子下体肿胀，疼痛难忍，于是在接受第二天的视频医疗咨询后，他们按照护士的建议，拍了几张儿子感染处的照片并上传到医院所在的医疗系统中。

很快，在照片的帮助下，医生诊断并开了抗生素，得到救治的儿子也痊愈了。此时儿子的病虽然治好了，但谷歌的AI却检测到他爹有“大病”！没过两天，因“严重违反谷歌政策且可能违法”的“有害内容”，马克的谷歌账户被禁用。

此时经由报道后，很多人认为马克被困在了一个算法网络中，这个网络是为了“诱捕”人们交换儿童性虐待材料而设计的。然后，马克收到了旧金山警察局的一封信，要求访问他的互联网搜索消息，位置历史记录，视频，照片以及其他文件。但由于他的账号全部被封禁，导致调查人员一度找不到他本人！

在调查人员费了一大番功夫联系上马克本人，对他进行了全面审查后，最终认定这不构成虐待或剥削儿童。即使马克向谷歌提供了警方的报告，以重新激活他的帐户，但很不幸，被告知他的帐户将被永久删除。

“错杀一千不放过一个”

谷歌在2018年表示，它已经开发了一种人工智能工具，使其能够更快地检测和删除儿童性虐待材料。在被AI自动标记后，这些照片随后由真人审查，如果它们被确定为儿童性虐待，谷歌会禁用他们的帐户，并向非营利组织国家失踪和受剥削儿童中心提交报告。

仅在2021年，它就向国家失踪和受虐儿童中心提交了超过62万份报告，并封禁了大约27000个与儿童性内容相关的帐户。同年，该非营利组织标记了4200多名潜在的新儿童受害者，其中一人就是马克的儿子。“儿童性虐待令人憎恶，我们致力于防止其在我们的平台上传播，”该公司表示。

但数字公民自由基金会的技术专家乔恩·卡拉斯表示，科技巨头扫描上传到他们服务器上的图片是一种侵入性的行为。美国儿科虐待儿童委员会主席苏珊娜·哈尼也建议父母不要拍摄孩子的照片，即使是医生的要求！

实际上，这种AI检测工具依然是非常不成熟的，很容易造成误判，这对于无辜者来说将会是一场生活上的风暴。去年苹果在宣布儿童安全计划时，闹出的动静也不小。当时一片反对声被掀起，不少用户认为隐私会被侵犯。

儿童权益倡导者表示，这些科技公司的合作对于打击性虐待图像的在线传播至关重要，但这对个人隐私的窥探需建立在合理的范围内，更不用说如今AI并不成熟。索菲亚觉得最惨还是这个父亲，他无缘无故地为谷歌的错误埋单了！