众力资讯网

AI末日论是从哪里长出来的 【文/观察者网 世界科先声】 现在要问那个更深的问题:为什么是美国,为什么是这几年,为什么AI风险讨论会长成灭绝概率这个形状? 如果这项技术危险到只有极少数机构能负责任地开发,那么危险本身就是准入门槛,它天然把资源和合法性集中到已经在场的那几家手里。这是最古老的行业保护

AI末日论是从哪里长出来的
【文/观察者网 世界科先声】

现在要问那个更深的问题:为什么是美国,为什么是这几年,为什么AI风险讨论会长成灭绝概率这个形状?
如果这项技术危险到只有极少数机构能负责任地开发,那么危险本身就是准入门槛,它天然把资源和合法性集中到已经在场的那几家手里。这是最古老的行业保护逻辑,只是换了一套词汇。
一个数字可以说明为什么这件事有现实赌注。过去六个月流入AI原生公司的风险投资有4000亿美元,其中80%用的是开源模型。开源如果不危险,护城河就不存在。
第二层是组织层面。这一层黄仁勋给的解释相当厚道。他说这些实验室正在从研究机构转型为工程组织,人才非凡,但工程毕竟不同于研究,转型难免磕绊。
研究机构的产出是论文和想法,工程组织的产出是要交付、要回滚、要有服务等级承诺的东西。两种文化处理未经验证的判断,方式完全相反。研究者习惯把猜想公开发表让同行证伪,这在科学共同体里是正确做法。工程师习惯把没验证的东西留在内部,直到它能过测试。同一个担忧,研究者写成一篇博客,工程师写成一张bug单。
黄仁勋在台上说,我认为这些公司应该按照我们过去建立公司的方式来运营,悄悄地做。这句话不是要求别人闭嘴,是两种职业伦理的直接碰撞。
第三层最深,也是这篇文章真正想说的。
来自中国的伊甸园和燧人氏
灭绝概率这个概念,不是从计算机科学里长出来的。它的来源是牛津那一支有效利他主义和长期主义的思想训练。
托比·奥德在《悬崖》里给本世纪的人类生存风险估了一个1/6。这套东西结构很清楚,把人类的整个未来当成一个可计算期望值的对象,然后论证一个极小的概率乘以近乎无限大的损失,等于一个无限大的当下义务。
数学上自洽。但它有一个从不被检验的前提。这个前提是,存在一个终点。
人类灭绝要能被当成一个可以赋概率的事件,前提是历史有一个可以抵达的结尾。而历史有结尾这件事,不是科学发现,是一个文化预设。
它来自《启示录》,来自千禧年主义,来自最后的审判。历史有开头,有方向,有终局,终局是一场清算。这个结构在西方思想里运行了两千年,它不需要论证,因为它是背景。
技术这一支还有更具体的一条线。
伊甸园中间那棵树叫知识树,吃它的果子是人类第一桩罪。普罗米修斯把火从天上偷给人,被锁在高加索山上,每天有鹰来啄他的肝。犹太传说里的魔像,人用泥造出来的仆人,最后要毁掉造它的人。玛丽·雪莱1818年给《弗兰肯斯坦》起的副标题,就叫现代的普罗米修斯。
这条线是连贯的。知识来自僭越,僭越必受惩罚,技术是偷来的火,火迟早要烧到自己身上。
所以2023年埃利泽·尤德科夫斯基在《时代》周刊撰文,主张必要时应该空袭数据中心,那不是一份政策建议。那是一种旧语法的当代版本,圣殿必须推倒,因为里面供的是偶像。
现在换一个坐标系。
中文世界的技术起源神话,方向完全是另一个。
燧人氏钻木取火,没有受到任何惩罚,他被立为王。有巢氏教人构木为巢,神农尝百草,都是立功不是犯罪。
最有意思的是洪水。大洪水是世界性母题。希伯来的解法是诺亚造方舟,神要毁灭这个世界,人能做的只是带走一点种子躲开它。中国的解法是大禹治水,把水治了。鲧被处死,不是因为他冒犯了天,是因为他用堵的,方法不对;禹用疏导,做成了,然后当了天子——这是一个纯粹的工程问题,不是道德问题。
1637年宋应星写完那本讲农业和手工业技术的书,取名《天工开物》——天的工,由人来开,整套世界观压在这四个字里。
所以中文语境里,没有技术原罪这个位置可以放。技术是器,器以载道,善恶在用它的人,不在技术本身带没带诅咒。一个从来不担心自己在犯罪的文明,也不太容易产生我们造的东西会审判我们这种恐惧。