微软近日发布了关于近期大规模服务中断事件的初步调查报告。报告指出,此次持续超过一天的严重宕机是由一个隐藏在 Windows 系统内部的 Bug 触发的。该问题源于微软在今年 7 月针对 Microsoft 365 网络网关服务器部署的一项修复程序。尽管该更新在上线后的前三个月运行正常,但在特定流量条件下,仍触发了严重的系统故障。
技术层面的核心原因被确定为“锁争用”(Lock Contention)。具体而言,在 Windows 的一个内部进程中,多个任务在试图同时获取共享资源的访问权时产生冲突。在特定的网络流量压力下,这种竞争会导致处理器(CPU)和内存资源被迅速耗尽。微软官方解释称,此问题之所以未能通过前期测试,是因为当时的测试环境使用的是硬件性能较低的机器;而在拥有更多核心的高性能新硬件上,该 Bug 的表现会变得极其显著。
【核心提要】
【正文报道】
微软近日发布了关于近期大规模服务中断事件的初步调查报告。报告指出,此次持续超过一天的严重宕机是由一个隐藏在 Windows 系统内部的 Bug 触发的。该问题源于微软在今年 7 月针对 Microsoft 365 网络网关服务器部署的一项修复程序。尽管该更新在上线后的前三个月运行正常,但在特定流量条件下,仍触发了严重的系统故障。
技术层面的核心原因被确定为“锁争用”(Lock Contention)。具体而言,在 Windows 的一个内部进程中,多个任务在试图同时获取共享资源的访问权时产生冲突。在特定的网络流量压力下,这种竞争会导致处理器(CPU)和内存资源被迅速耗尽。微软官方解释称,此问题之所以未能通过前期测试,是因为当时的测试环境使用的是硬件性能较低的机器;而在拥有更多核心的高性能新硬件上,该 Bug 的表现会变得极其显著。
此次故障并非由单一因素引起,而是多种异常条件叠加导致的“完美风暴”。报告指出,两个关键触发点共同导致了系统的崩溃:首先,Teams 的流量从一个备用网关迁移到了与 Exchange Online 共用的主网关;与此同时,一个无关的系统问题导致约 14% 的网关服务器容量处于不可用状态。
虽然剩余的服务器容量在正常情况下足以支撑业务需求,但由于上述两个条件的叠加,触发了上述提到的“锁争用” Bug。当受影响的服务器发生故障时,系统的自动容错机制会将连接转移到其他正常的端点。然而,这种突如其来的额外负载迅速导致其他区域的服务器也陷入同样的逻辑陷阱,引发连锁反应。
最终,这一技术缺陷导致的故障在不到两小时内蔓延至多个地理区域。在故障最严重的时刻,超过 80% 的服务器处于无响应状态,导致了大规模的服务中断。微软表示,将于 11 月 20 日公布更详尽的技术细节和后续改进措施。
【小编观点】
此次事件再次给云服务提供商敲响了警钟:在复杂的分布式架构中,硬件环境的差异(如高核心数 CPU 对并发锁的影响)往往是隐藏的“深水炸弹”。微软此前的测试未能覆盖到高性能硬件场景,导致原本看似正常的补丁变成了生产环境中的隐患。这凸显了在构建大规模基础设施时,多样化硬件基准测试的重要性。
背景链接:
https://www.theregister.com...