战争之王OpenAI 将崩溃调试视为流行病学研究，修复了存在 18 年之久的 GNU libunwind 漏洞_我的网站
一 | 作者 | Steef-Jan Wiggers 译者 | 平川 OpenAI 的工程师们花了数周时间，试图解释 Rockset 中那些神秘的崩溃问题。 四季度是冲刺年度目标任务、打好“收官战”的关键期。
二 | 进入四季度，全市多个重点项目开足马力建设，劳动者们在施工和产业一线，对标对表抢工期、赶进度、保质量，为高质量发展增添新动能。 在抚顺高新区，辽宁星聖精细化工有限公司 5000 吨/年单乙烯基二乙二醇醚生产装置项目建设正酣。
三 | Rockset 是一款 C++ 数据基础设施服务，为 ChatGPT 的搜索和数据插件提供支持。目前，该项目土建工程进入收尾阶段，未来两个月设备将陆续到场，力争今年年底具备试生产条件。
四 | 辽宁星聖精细化工有限公司是一家集储、运、工、贸为一体的新兴精细化工企业。此项目选址于高新技术产业园区碾盘工业园区，不仅填补了东北市场生产空白，还解决了高新区企业原料需求，完善了当地产业链条。项目投产后，将形成每年 5000 吨单乙烯基二乙二醇醚及约 2000 吨三甘醇、乙二醇等附属产品的生产规模，预计年产值可达 1.26 亿元，利润超 3000 万元，纳税近千万元。 项目开工建设以来，抚顺高新区给予大力支持，为项目的顺利推进提供坚实保障。函数似乎会返回错误的内存地址，栈指针在执行过程中似乎会偏移 8 个字节。
五 | 团队提出的每一种假设都面临着有力的反证。这个 Bug 似乎根本不可能存在。 他们原本以为是一个 Bug ，结果却发现是两个互不相关的 Bug ，它们只是很巧合地在同一时间被发现了。这一突破性发现并非来自对单个崩溃事件的深入排查，而是源于转向了他们所说的“流行病学调试”：构建一条管道，自动分析过去一年中生产环境的每一个核心转储文件，然后寻找整体规律，而不是对单个案例进行推断。企业计划在一期项目建成投产后，依托目前一期公用工程基础建设二期项目。届时，项目规模将扩充至20000吨/年单乙烯基二乙二醇醚生产能力，年产值预计可达约6亿元。产品销售将立足抚顺地区，辐射东北市场，为区域经济发展贡献力量。 与此同时，沈阳润驰润滑油添加剂项目推进态势良好，各项工作有序开展。
六 | 该团队让 ChatGPT 编写了一个脚本，用于下载每个核心文件的开头部分，提取寄存器数据，过滤已知的误报，并将每次崩溃标记为“返回空指针”、“栈对齐错误”或其他类型。他们将该脚本并行应用于过去一年中的所有 Rockset 核心转储文件。他们很快就发现了相关性。
七 | 原本从症状上看属于同类的问题，实际上对应两组特征完全不同的崩溃事件。 这些因栈对齐错误导致的崩溃均源自同一个 Azure 区域，有明确的起始日期，而且从未出现在长期运行的节点上。团队追踪发现，这些崩溃源自一台物理主机，其 CPU 正在悄无声息地产生错误的结果。据悉，该项目总投资 1.5 亿元，占地 28058 平方米，采用先进生产技术和智能化设备，致力于打造高质量、高性能的润滑油添加剂产品。它既没有过热，也没有抛出机器检查异常，而只是数学运算默默出了错。其生产的聚甲基丙烯酸酯型润滑油添加剂能有效提高油品粘度指数，降低凝固点，产品涵盖黏度指数改进剂和降凝剂，技术先进且安全环保。将该主机从服务中移除后，因栈对齐错误导致的崩溃便完全消失了。 在剔除硬件崩溃问题后，剩余的由“返回空指针”导致的崩溃问题便变得可控了。此前，团队曾排除了 C++ 异常展开的原因，因为他们认为自己找到了反例：在未使用异常的代码路径中发生了崩溃。但这些反例全都来自有硬件损坏的故障集群。项目投产后将与多家央企合作并出口国外市场。 这些大项目的竞相落地，不仅仅是一个个经济数据的增长，更是抚顺市工业转型升级的生动写照。
八 | 它们带来了先进的技术、创新的理念和广阔的市场，吸引了大量的人才和资金流入。同时，也为周边产业的发展提供了机遇，带动了相关配套企业的成长。一旦剔除了这些干扰因素，剩余的所有崩溃便都是发生在异常展开过程中了。 问题发生的根本原因是 GNU libunwind 的 _Ux86_64_setcontext 函数中有一个已经存在 18 年的竞争条件。
九 | 近年来，我市工业经济蓬勃发展。在 C++ 异常展开过程中，libunwind 会在栈上合成一个 ucontext_t 结构体，填充所需的寄存器状态，然后调用 _Ux86_64_setcontext 将控制权转移给清理处理程序。
十 | 问题在于：_Ux86_64_setcontext 在从旧结构体中读取指令指针的操作尚未完成之前，就将栈指针（%rsp）更新为指向新的栈帧。新开工项目如雨后春笋般不断涌现，涵盖化工、润滑油添加剂等多个领域，重大项目推进上取得的显著成效，是抚顺经济高质量发展的生动注脚，为我市的经济腾飞增添了强劲动力，推动城市迈向新的发展高度。一旦 %rsp 发生变化，该结构体便不再属于活动栈的一部分，也不再受内核红区的保护。如果信号恰好在 %rsp 更新与 %rip 读取之间的这一时间窗口内到达，内核就会在该结构体之上构建其信号帧，指令指针遭到破坏，函数便会跳转到 NULL 或垃圾地址。 竞争窗口的宽度正好为一条指令。未来，我市将继续坚持以项目为王的理念，加大对工业项目的扶持力度，不断优化营商环境，吸引更多的优质项目落地生根，为区域经济高质量发展注入更多“强引擎”，在新征程上奋力实现抚顺全面振兴取得新突破。 责任编辑：刘春阳。以现代处理器的时钟频率计算，这大约相当于 100 皮秒。
十一 | 在大多数程序中，这种情况根本不会被触发。OpenAI 的 Rockset 使用了 timer_create 函数，每隔几毫秒的 CPU 时间就发送一次 SIGUSR2 信号，为的是实现轻量级的按查询记账，这样产生的信号发送事件远多于传统的应用程序。
十二 | 正是这种高频的信号发送，将只在理论上可能发生的竞争状况转化成了实际生产环境中的崩溃。 该团队将一个修复方案和一个自包含的重现示例提交到了 GNU libunwind，并通过验证证实，其他展开器（如 libgcc）不存在这个问题。该修复方案通过重新排序指令，确保在更新 %rsp 之前先读取 %rip，从而彻底消除了这个时间窗口。
十三 | 该团队对这一教训的总结值得全文引用： 最重要的步骤并非巧妙地解读汇编代码，也不是对细节的深入了解，而是构建一个高质量的数据集。如果没有这个数据集，我们就会把两种截然不同的现象混为一谈，并试图通过推理来理清这种混乱。一旦获得了准确且完整的全量数据，问题的结构便显而易见了。
十四 | 如果你的团队正在排查难以解释的生产环境崩溃问题，请检查你们是否将多个 Bug 混为一谈。那些看似与所有假设都不相符的症状，实际上可能并不矛盾；它们可能与两个不同的假设相符，而你却无意中将它们混淆了。洞察问题结构的最快途径，并非对单个案例进行更深入的分析，而是获取涵盖所有故障案例的完整、带标签的数据。 这篇完整的工程技术博文包含了详细的栈内存示意图、存在漏洞的汇编指令，以及揭示出两种不同类型故障的崩溃率可视化图表。 https://www.infoq.com/news/2026/07/openai-libunwind-core-dumps/ 声明：本文由 InfoQ 翻译，未经许可禁止转载。
十五 | Current article:http://www.caonaishengpengchuali.shop/fnl/y0f.doc Published on:21:00:44 |
