众力资讯网

微软宕机一天多,15个游泳者中了毒,八成服务器跟着瘫了

11月13日,德国布吕尔,一家主题乐园里的灵宝酒店。室内泳池的加氯系统出了故障,水里的氯浓度开始往上走。系统照设计发出一封预警邮件,提醒酒店的人赶紧来处理。邮件确实发出去了,但没能到达任何人手里——它走的通道是微软的Microsoft 365,而那几天微软正处在一场持续一天多的大宕机里。
在泳池里游泳的15个人氯气中毒,其中4人被送进医院,现场来了大约40名应急处置人员。这条因果链后来被The Verge、The Register、NDTV多家外媒分别确认:泳池警报没送到,是因为微软的邮箱服务瘫了。
一封没送达的邮件,最后由15个游泳的人结了账。这事值得从头到尾拆一遍。(写到这里我把时间线又核了一遍:7月埋的雷,11月13日炸的,链条完整。)

一封邮件是怎么害人的先说泳池这边。酒店的加氯设备出故障,属于泳池的日常风险,正规酒店都有告警机制兜底。灵宝酒店的机制是:设备发现加氯异常,自动发邮件通知相关人员。
这个设计本身没毛病。有毛病的部分藏在看不见的地方——这封"本地设备"发出的告警邮件,走的是云端服务。告警链路的最后一环不在酒店机房里,在微软的数据中心里。
绝大多数人配置系统时都是这么想的:邮件发出去就算送达了。日常确实如此,可达性99%以上的服务,谁会天天怀疑它。安全工程里管这个叫单点依赖,平时它安静得像不存在,出事的时候它就是唯一那根管子。
那天,管子断了。
事后复盘这个场景,你会发现酒店其实做对了一半:设备发现异常、自动触发告警,这一步是本地的、自动的。做错的后一半,是告警的"嘴"长在别人家——邮件要出酒店,得先过微软的全球网络。危险的判断在本地,危险的广播在云端,两段能力分了家。
这个分家在国内的办公环境里同样常见。很多公司的监控告警和门禁异常提醒,最后一步都是往云端群里推一条消息。平时快得很,可一旦推消息的那条链路出问题,告警就跟灵宝酒店这封邮件一样,发出去了,没了。
给自己的告警上三道保险从这次事故里能直接抄走的,是三条不花钱的检查。
第一道,告警至少要有两条通路。邮件之外,关键的告警应该有本地声光报警,或者独立通道的短信。两条通路的实现方式越不相似越好,都走云的"双保险"其实是同一个保险。
第二道,定期做断云演练。挑个低峰时段,故意把外网断掉,看告警还能不能送到人手里。很多依赖只有断的那一刻才看得见,演练的意义就是把"那一刻"挪到你自己挑的时间。
第三道,本地能判断的危险,本地就要有动作。加氯超标这种事,设备端完全可以先自动停机、现场响铃,邮件只作为事后通知。危险的动作交给最近的脑子,远端只做汇报,这个顺序不能反。
三道保险加起来,成本可能还不如一次事故的零头。安全工程的账,从来都是这么算的。
宕机的不止是邮箱再说云端这边。这次故障的规模,比"邮箱收不到信"大得多。
微软自己的初步事件报告确认:服务中断持续超过一天,最严重的时候,逾八成的服务器处于无响应状态。八成是什么概念——邮件发不出也收不进,在线文档打不开,会议工具进不去,日历和附件全部卡死,对依赖它办公的公司来说,那一天等于整个办公室的电子门牌全部失灵。故障从一个区域开始,自动容错系统把连接转移到正常端点,结果额外的负载在别处触发了同样的故障——不到两小时,中断蔓延至多个区域。
被波及的不止普通企业邮箱。这两天多家媒体报道过,OpenAI、Anthropic这些AI公司的部分服务也受到了影响,它们同样跑在这套基础设施上。一家卖邮件的公司出了故障,隔壁卖AI的公司跟着咳嗽,这就是云时代的传染路径。


微软自己的解释11月16日,微软公布了初步事件报告,把这次的锅接了下来,原因写得相当具体。
今年7月,微软给Microsoft 365的网络网关服务器部署了一项修正,跑了三个多月,一直没出问题。问题就出在这项修正上:它引入了一个锁争用的bug——一个Windows内部进程里的多个任务,抢夺同一个共享资源的访问权,在特定流量条件下,处理器和内存资源会被耗尽。
触发需要两个条件凑齐。第一,Teams的流量从一个备用网关迁移到了与Exchange Online共用的主网关;第二,另一个不相干的问题让14%的网关服务器容量处于不可用状态。剩下的容量本来够用,但两个条件叠加,恰好踩中了那个藏了三个月的雷。

为什么测试没测出来锁争用这个词,翻译成人话就是:好几个人抢一把椅子,规则没写清楚谁先谁后,最后挤成一团,谁也没坐上。
微软的解释里有一句话特别值得琢磨:此前的测试没能发现问题,原因是测试是在硬件性能较弱的机器上进行的,而在拥有更多核心的新硬件上,这个缺陷会非常显著。
这事反直觉的地方在于,弱机器反而是"安全"的。机器越弱,任务排队越明显,一个任务等另一个,秩序井然,抢椅子的问题暴露不出来。新硬件核心多,任务真的并行跑起来,锁争用同时在几十个核心上爆发,资源瞬间耗干。换句话说,这颗雷的引信,是更快的机器本身。
这也解释了它为什么能藏三个月。7月部署时没炸,不是因为它安全,是因为触发条件一直没凑齐——直到11月13日,Teams流量迁移和14%容量缺员这两件事在同一天发生。

接下来会公布什么微软说,11月20日会公布更详细的信息。到时候值得盯两件事:一是为什么告警类邮件没有任何降级通道,二是这次级联之后,网关的容错设计会不会改。如果详细报告里给出受影响租户的数量和时长,这次事故的完整账本才算摊开。
对普通人来说,这事留下的教训其实很朴素。你公司里那些"肯定不会断"的环节——门禁、考勤、工单、告警——值得问一句:它断的时候,第二条路在哪。做安全工程的人念叨了二十年的老话,这次又被验证了一遍:关键告警永远不该只有一条通路,更不该把唯一一条通路架在别人的服务器上。
泳池那15个人,错不在他们,甚至主要不在酒店——没人会去质疑一封"已经发出"的邮件。报道里没提他们的名字,只知道那天,他们只是去游个泳。真正该改的是系统设计:本地能判断的危险,就该有本地能响的铃。
云让一切变方便的代价,是全世界的依赖挤进了同几根管子。管子结实的时候没人想起它,这次它断了一天多,账单落在了一群正在游泳的普通人头上。
你的工作里有多少环节是挂在别人服务器上的?评论区聊聊你遇过的最离谱的一次宕机连锁反应。