《卫报》的文章，效率陷阱：为什么事事追求最优，反而可能酿成严重后果The efficiency trap: why optimising everything can backfire, badly
从环岛到股市， relentless 的精简与优化，可能正在让这个世界变得更加危险
史蒂文·斯特罗加茨（Steven Strogatz）与亚历克斯·汤森德（Alex Townsend）
我们都有过这样的经历：在拥挤不堪的火车上，身旁的人咳嗽、打喷嚏，大家挤得肩膀碰着肩膀。接种流感疫苗能让人稍感安心，而想到万一自己需要住院，至少还有一张病床可以躺，也同样令人宽慰。然而，去年流感季最严重的时候，英格兰约95%的成人医院病床都已被占用。
如果医院是酒店，这样的入住率无疑意味着生意兴隆，我们也会称赞它们运营效率高。但我们真的希望医院几乎没有任何备用病床，以至于只要流感疫情再严重一周，就不得不把患者安置在走廊里吗？
效率的微妙之处就在这里。我们通常认为，效率越高越好。但我们可能过于专注于改善某一件事，以至于忽略了其他方面。你可以试着把日程安排得密不透风，让每一分钟都有明确用途，但很快就会发现，事情开始超时，最终整个计划都落在后面。会议之间留出一段空档，看起来似乎效率低下，但正是这段空档，让你的日程在遇到意外时还有调整和恢复的余地。
数学家为追求效率这件事起了一个名字，叫作优化。给我们一个需要最小化或最大化的目标——成本、时间、燃料消耗、利润——我们就会尝试找出尽可能好的答案。在人类历史的大部分时期，人们依靠常识进行优化。但计算机极大地拓展了我们能够有效解决的问题范围，从航空公司的航班排程到供应链管理，无所不包。由此带来的社会效益极其显著。但在孜孜不倦地追求最优解时，至少有三个陷阱值得警惕。
如今，人工智能有可能让这三种优化陷阱变得比以往更加危险。
医院病床的例子揭示了第一个陷阱：过度挤压冗余空间，削弱系统的韧性。在一个平静的周二夜晚，空着的病床或许显得多余；但当流感病例激增时，它就成了安置下一位患者的宝贵资源。如果你只根据系统在常规条件下的表现来评判它，就可能让它失去应对极端挑战的能力。
第二个陷阱，是对“最佳”有着过于狭隘的定义。以英国城市米尔顿凯恩斯为例。这座城市由城市规划师在20世纪60年代末设计，采用了美式棋盘格道路布局。随着城市逐步建设，环岛而非交通信号灯成为道路交叉口的标志性设计；如今，这里大约有130个环岛。环岛确实有利于交通流畅，但也带来了一个如今广为人知的代价。
你坐过从牛津到剑桥的长途客车吗？行驶大约一个小时后，你会看到米尔顿凯恩斯的美丽景色，但车上乘客却可能被颠簸得一阵阵反胃。客车驶过一个又一个环岛：减速、向左转、向右绕行、再加速。当你的胃里翻江倒海时，很难欣赏车辆之间那种看似顺畅无缝的交汇。
交通流量当然很重要。工程师发现，优化交通流量很方便，因为它相对容易测量。相比之下，乘客的舒适度却很难量化。在这样的案例中，优化能够为你提出的问题给出最佳答案，却可能在那些你根本没有考虑到的问题上，带来令人不快的结果。
第三个陷阱出现在不同的优化尝试彼此碰撞时。即使系统中的每个部分都在采取最优行动，整个系统也未必能够实现最优。2010年5月6日，美国金融市场就对此进行了戏剧性的演示。当时市场本已处于下跌之中，标准普尔500指数却突然在短短五分钟内再跌5%。随后向上的剧烈反弹更加惊人：不到10分钟，市场便恢复了此前的水平。数百种个股的交易价格一度跌至荒谬的低位。
引发这场剧烈波动的原因之一，是一个自动交易程序抛售了7.5万份期货合约，价值超过40亿美元。其他自动交易者几乎立即作出反应。随后，各方的反应不断相互反馈，市场流动性迅速枯竭。这些算法的行动单独来看或许合乎情理，但它们叠加在一起，却造成了整个市场的混乱。
接下来，我们就要谈到人工智能。AI是人类优化领域最令人瞩目的成就之一。在训练过程中，海量参数被反复调整，使模型在语言预测、编写计算机程序、回答科学问题以及提供法律建议等方面不断提升表现。
遗憾的是，如今AI也有可能让上述三种优化陷阱变得更加危险。
第一个陷阱——急于消除冗余——可能会诱使组织机构放弃人工监督，因为在算法越来越聪明的时代，这种监督看起来似乎已经没有必要。既然机器能够处理日常事务，为什么还要保留经验丰富的员工？但削减这种人力能力，可能意味着你也失去了发现和处理特殊情况的能力。
第二个陷阱——对“最佳”含义的片面理解——则可能出现在我们把排行榜上的最高分视为智能的全部表现时。我们非常擅长打造能够在用户满意度等指标上表现出色的AI系统，但要让它们在判断力或共情能力方面达到最优，我们却发现困难得多。
事实上，研究人员发现，根据人类偏好训练算法，可能会促使AI一味迎合我们、对我们唯唯诺诺，而不是告诉我们那些令人不舒服的真相。
接下来是第三个陷阱。AI系统正越来越频繁地彼此互动，而且往往以令人眼花缭乱的速度、大规模地展开——尤其是在智能体AI时代。我们担心，这些系统之间的互动可能产生难以预测、甚至危险的行为。
最近，OpenAI的一个智能体闯入了澳大利亚一个非公开的医疗保险统计门户网站。与此同时，公开日志显示，数百个其他智能体似乎正在协调行动，试图获取澳大利亚政府的健康数据。尽管目前尚无证据表明，这些尝试与此次医疗保险门户网站遭入侵事件有关，但它们确实揭示了一个令人不安的现象：数百个智能体似乎正在以未经授权的方式协同工作。
这里真正令人担忧的，已经不只是某个AI究竟会做什么或不会做什么，而是当成群结队的AI联合起来时，究竟会发生什么。
随着优化能力越来越强，避免这些陷阱也变得愈发重要。挑战不只是找到最佳答案，而是弄清楚“最佳”究竟意味着什么——以及知道哪些东西不应该被优化掉。海外新鲜事