通知噪音与阈值管理研究报告

基本信息

阅读时间：约 25 分钟

字数：约 12,331 字

摘要：告警治理中最常见的一句抱怨是「告警太多」，但把问题定义为数量，会导致一个没有出口的循环：数量减少意味着阈值放宽，阈值放宽意味着漏报增加，漏报增加又会催生新的补偿性监控。本报告把问题重新定义为阈值的分层与信噪比的管理，把「多不多」换成「值不值」。

告警治理中最常见的一句抱怨是「告警太多」，但把问题定义为数量，会导致一个没有出口的循环：数量减少意味着阈值放宽，阈值放宽意味着漏报增加，漏报增加又会催生新的补偿性监控。本报告把问题重新定义为阈值的分层与信噪比的管理，把「多不多」换成「值不值」。

本报告的核心预期差有三处。第一，噪音的实际成本不在数量而在工时结构：在日均告警 1200 条、单条噪音处理 45 秒、单条有效处理 180 秒的示例性口径下，噪音占用的处理工时约为全部处理工时的 45.5%（测算）[9][7]。第二，精确率与召回率之间存在可量化的替代：阈值上调使有效告警占比由 23% 升至 31%，同时召回率由 88% 降至 76%；阈值下调使占比降至 17%、召回率升至 94%（测算）[11]。第三，改变效率的主要手段是分层而不是统一收紧：把告警分为即时响应、当日处理、仅记录三级后，即时响应级的有效告警占比升至 61%，而当日处理级为 28%、仅记录级为 12%（测算）[12]。

需求侧的背景是通信与系统复杂度同步上升。中国互联网普及率由 2020 年的 70.053% 升至 2025 年的 91.6%、提高 21.547 个百分点，移动电话普及率由 2019 年的每百人 122.67 部升至 2024 年的 131.754 部、提高 9.084 部[1][2][14]。接入端越普及，被监控的对象与上报的数据源越多，告警的原始供给随之增长；同期研发支出占 GDP 比重由 2018 年的 2.102% 升至 2023 年的 2.577%、提高 0.475 个百分点[3][14]，说明系统迭代速度仍在加快，配置与阈值需要跟进的频率也在提高。三项年度变化合并为一句可复算的读数：互联网普及率 2020 至 2025 年提高 21.547 个百分点、移动电话普及率 2019 至 2024 年提高 9.084 部、研发支出占 GDP 比 2018 至 2023 年提高 0.475 个百分点（测算）[15]。

供给侧的治理工具已经出现。2025 年 12 月，某云平台智能可观测平台经中国信通院评估，在可观测底座能力、智能化场景应用能力、可观测智能体 3 项检验中 100% 用例全部通过；该平台支持模糊查询与语义相似度匹配，能够处理口语化表达、错别字与同义词替换，并在查询存在歧义时主动反馈澄清[4]。同期，智能化运维能力成熟度模型的可观测性能力要求已被收录为标准，标准号 T/CCSA 382.3-2025，但该标准正文条款未公开，本报告只能将其作为制度供给存在的证据，不能引用其分级口径（缺口）[5]。

口径提示：本报告所有告警数量、精确率、召回率与工时参数均为示例性口径，用于呈现阈值管理的结构与量级，不代表任何特定企业的实际监控数据。不同系统的告警基数与复杂度差异极大，读者应以自身基线替换参数后重新测算。

阈值设定的第一条错误路径是统一放宽。当噪音过多时，最直接的反应是把阈值整体调高，结果是噪音减少的同时漏报增加，而且漏报往往发生在最需要关注的场景——因为严重故障与轻微异常在同一个阈值下被一起推移了。这条路径的失败不是因为放宽错误，而是因为「统一」错误。

第二条错误路径是叠加补偿。漏报增加后，团队会追加新的监控规则来补上被遗漏的场景，于是告警总量回升、噪音回到原来的水平。这条路径的失败在于它没有改变阈值与响应之间的关系，只是把问题推回了起点。两条错误路径的共同点是缺少第二个维度：阈值只有一个开关，而响应可以有多个层级。

可行路径是把阈值与响应分层。分层的基本逻辑是：不同严重程度的事件不需要同一种处理方式，因此也不需要同一个阈值。即时响应级保留较高的召回要求，允许一定的误报；当日处理级与仅记录级可以接受更低的精确率，但不应占用即时响应通道。分层之后，噪音并没有消失，它只是被移出了最稀缺的资源——值班人的即时注意力。

从数量结构看，即时响应级只占 15%，对应日均 180 条（测算）[12]。这一比例的含义是：真正需要立刻打断人的告警应当是一个很小的子集。如果即时响应级占全部告警的一半以上，「即时」这个概念就失去了区分能力，值班人对告警的响应会退化为批量处理，而这正是响应时延上升的主要原因。

告警质量的度量需要同时使用两个方向相反的指标。精确率（即有效告警占比）衡量「报出来的有多少是真的」，召回率衡量「真的有多少被报出来」。两者无法同时最大化，任何阈值调整都是在两者之间移动一条曲线。把这个替代关系显性化，是从感受性讨论转向可管理指标的第一步。本报告的基线口径取日均告警 1200 条，其中有效告警 276 条、噪音告警 924 条，有效告警占比 276 ÷ 1200 = 23.0%、噪音占 77.0%（测算）[6]。

五个口径之间存在明确的传导关系。阈值变化先影响精确率与召回率，两者共同决定有效告警与噪音告警的条数；条数再决定工时占用，工时占用最终决定响应时延。因此响应时延是一个结果指标而非管理指标——它无法被直接设定，只能通过前四个口径的调整间接改善。

工时占用的计算需要区分两类处理动作的耗时差异。单条噪音告警的平均处理耗时约 45 秒（确认无影响后关闭），单条有效告警的平均处理耗时约 180 秒（定位、判断与处置）。在日均有效 276 条、噪音 924 条的口径下，噪音耗时合计 41580 秒、有效耗时合计 49680 秒，噪音占全部处理工时的 45.5%（测算）[9]。

工具侧的进展可以从一次公开评测中读出。2025 年 12 月，某云平台的智能可观测平台经中国信通院评估，在可观测底座能力、智能化场景应用能力、可观测智能体 3 项检验中 100% 用例全部通过[4]。三项检验的划分本身就说明行业对可观测性的理解已经从事后看板扩展到底座、场景与智能体三个层次。

更值得关注的是查询方式的变化。该平台支持模糊查询和语义相似度匹配，能够处理口语化表达、错别字和同义词替换，提升查询的容错性和准确性；当查询存在歧义或不明确的描述时，自然语言转查询能力能够主动反馈或澄清、提示用户进一步确认需求[4]。这一能力对阈值管理的意义在于：阈值本质上是一条查询条件，查询条件越容易被正确表达，阈值的维护成本越低。

按这一能力，本报告在测算中假设阈值的人工编写与维护工时可以压缩约 30%，对应日均阈值维护工时由约 3.2 小时降至约 2.2 小时（测算）[13]。这一假设的依据是查询表达的容错性提升会减少反复试错，而不改变阈值本身的判定逻辑。

标准侧的供给同样存在。国家数字标准馆收录了智能化运维能力成熟度模型的可观测性能力要求，标准号 T/CCSA 382.3-2025[5]。但该页未公开标准的正文条款、成熟度分级定义与量化指标，因此本报告只能将其作为制度供给存在的证据。

缺口说明：本报告未能取得该标准的分级定义与量化指标，也未能取得覆盖企业告警精确率与召回率的公开统计口径。因此本报告中所有精确率、召回率与工时读数一律标注为测算，仅用于呈现机制与量级，不作为行业实测值的替代。

第一个来源是注意力挤占。噪音告警占全部处理工时的 45.5%（测算）[9]，但它的影响不止于工时本身：告警到达的时间分布并不均匀，若噪音集中在业务高峰或值班人力较少的时段，其挤占效应会被放大。本报告在响应时延的测算中把这一效应量化为额外等待 4.3 分钟、占时延总量的 34.4%（测算）[10]。

第二个来源是疲劳导致的漏判。当噪音持续存在时，值班人对告警的条件反射会从「先看内容」退化为「先看数量」，个别真正重要的告警可能在批量确认中被一并关闭。这类损失无法从精确率指标中读出，因为被漏掉的告警在统计上仍然被记作「已处理」。它是本报告认为统一收紧阈值会失败的直接原因。

第三个来源是阈值的维护成本。阈值不是一次设定后长期有效的配置，而是需要随业务变化持续调整的规则。在查询表达能力有限的情况下，每次调整都需要人工编写与验证，日均维护工时约 3.2 小时（测算）[13]。这部分成本通常不计入告警处理工时，因此在实际管理中容易被忽略。

把三个来源并列，可以看到噪音成本的结构性特征：工时占用是可测量的，注意力挤占是可间接估计的，而疲劳导致的漏判几乎不可观测。正因为第三项不可观测，以「减少告警数量」为目标的治理方式容易在指标上表现出改善，而在实际风险上并没有同步下降。

方案的核心是把单一阈值拆成三级。即时响应级用于会立即影响用户或资金的场景，保留高召回要求；当日处理级用于需要跟进但不需立刻打断的场景；仅记录级用于只做留痕与趋势分析、不触发任何人工作业的场景。三级的划分标准不是告警内容本身，而是「如果这条告警被漏掉或延迟处理，最坏后果是什么」。

第一级的配置是关键。测算显示，即时响应级日均 180 条、有效告警占比 61%；当日处理级日均 420 条、占比 28%；仅记录级日均 600 条、占比 12%（测算）[12]。三级的有效告警占比呈现明显的梯度，这正是分层的目的：把高价值的告警集中到最稀缺的注意力通道上。

第二项设计是在三级之间建立单向流动规则。仅记录级的告警在短期内重复出现达到一定次数后自动升级为当日处理级，当日处理级在影响范围扩大后升级为即时响应级；反向降级则需要人工确认。这条规则的价值在于让噪音不再依赖人工识别——重复出现的噪音会自行暴露，而不是持续停留在低层级里占用存储与检索资源。

第三项设计是把响应时延的观测口径与分层对齐。即时响应级应单独统计从产生到被响应的时间，而不与其余两级混算。测算显示，噪音过滤比例每提高 20 个百分点，有效告警的平均响应时延由 12.5 分钟逐步降至 8.6 分钟（测算）[10]。把这一指标单独跟踪，才能判断分层是否真的改善了最关键的通道。

本章把前述口径合并为一组可复算的数字。基准假设为：日均告警 1200 条、有效告警 276 条、噪音告警 924 条、单条有效处理 180 秒、单条噪音处理 45 秒、有效告警平均响应时延 12.5 分钟。所有结果均为示例性口径。

第一组是工时结构。有效告警处理工时合计 13.8 小时、噪音告警处理工时合计 11.6 小时，日均总处理工时约 25.4 小时（测算）[9][12]。这一数字是理解告警治理必要性的基础：即使每条告警的处理动作都很轻，总量累积后仍相当于数个人日，而其中近一半投向了没有实际影响的告警。

第二组是阈值档位与效率的对应关系。有效告警占比与召回率在这五个档位下呈反向变动：阈值最宽松时占比 17%、召回率 94%；基准阈值下占比 23%、召回率 88%；阈值最严时占比 31%、召回率 76%（测算）[11]。日均处理工时随有效告警占比的提高而下降，由 28.6 小时降至 21.9 小时。

第三组是漏报与误报的成本对比。漏报 1 条有效告警的处置成本，按故障持续 45 分钟、每分钟影响 12 个用户请求估算，约为误报 1 条（处理 45 秒）的 60 倍（测算）[11]。因此优化情景虽然把日均处理工时压到最低，却同时把召回率降至 76%，新增的漏报处置成本会抵消一部分效率收益。

这组对比给出了本报告对阈值方向的判断：在漏报成本显著高于误报成本的前提下，把精确率推到很高并不理性。更合理的做法是保持召回率在高位（不低于 88%），通过分层把噪音的成本从即时响应通道中转移出去，而不是通过放宽阈值把噪音变成漏报。

需要说明测算的构造逻辑。精确率与召回率的取值来自五个阈值档位的示例性设定，两者在样本区间内近似线性反向；工时占用严格按条数乘以单条耗时计算；响应时延的改善按噪音占用比例的变化等比折算。读者可将参数替换为自身监控系统的实际基线重新计算。本报告刻意没有把「减少告警条数」作为结论指标，原因在于这一指标的改善路径与前文的风险结构不相容：减少条数最直接的做法是放宽阈值或把大量告警移入仅记录级，前者抬高漏报概率，后者推迟风险暴露时点，两者都会让短期读数变好而长期风险上升。可验证的替代指标应当是同时观察三项读数——即时响应级的有效告警占比、该级的平均响应时延、以及仅记录级向上升级的条数占比。若前两项改善而第三项同时升高，说明分层正在把真实风险从低层推向高层，治理方向正确；若前两项改善而第三项长期为零，则更可能是风险被静默留在了仅记录级，需要人工回溯抽样。这个判据的代价是它要求同时维护三套统计，比单一的总量指标复杂得多，但它把「看起来变好了」与「确实变好了」区分开来。

信噪比这一口径的优点在于它把两个方向的数量放在同一个比值里，避免了单纯比较条数的偏差。保守情景的 4.88 比 1 与优化情景的 2.23 比 1 之间相差 2.65 倍，这个跨度足以影响值班人对告警的整体信任度：在 4.88 比 1 的环境里，每五条告警中只有一条值得处理，人的反应会从逐条阅读转为批量确认；在 2.23 比 1 的环境里，每三条中有一条值得处理，逐条阅读的成本才可能被接受。因此信噪比不仅是一个效率指标，也是一个决定流程能否被执行的行为指标——超过某个阈值后，再完善的处置规范都会因为无人认真阅读而失效。本报告无法用公开数据标定这个阈值的位置，只能把它作为需要各单位自行观测的边界量。

第一条边界来自系统类型的差异。本报告的三级分层适用于告警来源多样、后果差异明显的系统。若系统本身只做单一类型的监控（例如只监控支付成功率），三级之间的界限会非常模糊，分层可能退化为形式。

第二条边界来自召回率的不可直接观测性。精确率可以从已产生的告警中直接统计，但召回率需要知道「真实问题发生了多少次」，而真实问题的总数往往只能从事后复盘中间接推断。这意味着本报告中的 88% 是一个示例性取值，而非可核验的实测值。

第三条反面证据来自主动降噪的风险。把仅记录级设为「不触发任何人工作业」，意味着该层级的告警不会有人在生产环境中立刻看到。若某类问题的早期信号恰好落在这个层级，组织会丧失在故障扩大前介入的机会，这是分层方案需要付出的代价。

第四条反面证据来自指标本身的可操纵性。精确率可以通过把难以判断的告警归入仅记录级来提高，而召回率的下降则会滞后数月才在事故复盘中体现。这种不对称意味着分层方案在短期内几乎必然表现为各项指标改善，因此不能仅以指标改善来评价方案是否成功。

这四条边界共同指向一个结论：分层方案的成立不取决于阈值本身设得多好，而取决于配套的观测机制是否同时建立。阈值可以在一周内改完，问题台账与回溯抽样需要按月积累。若组织只完成了前者，得到的是一个指标更好看的系统，而不是一个风险更可控的系统。本报告在第六章测算出的工时改善、在第二章测算出的时延改善，都建立在配套机制存在的前提上；缺少配套机制时，改善会先出现在报表里，代价则延迟出现在事故复盘里。

以下风险与本报告的判断一一对应，按参数、口径与执行三类分列：

1. 日均告警 1200 条、有效 276 条、噪音 924 条均为示例性口径，实际告警基数与结构差异极大，直接套用会得出失真的结论[7][8]；
2. 召回率 88% 为本报告示例性取值，真实问题的总数无法从公开数据中核验，该参数的不确定性会直接影响漏报成本的测算结果[11]；
3. 单条处理耗时（有效 180 秒、噪音 45 秒）为示例性假设，不同系统的处置复杂度差异会改变工时结构，噪音工时占比 45.5% 需按实际基线替换[9]；
4. 标准 T/CCSA 382.3-2025 的正文条款与成熟度分级未公开，本报告未引用其任何量化要求，相关能力分级判断缺少权威口径支撑（缺口）[5]；
5. 三级分层会降低仅记录级告警的可见性，早期信号若落在该层级可能被延迟发现，这是方案的固有代价而非执行失误[12]；
6. 阈值维护工时压缩 30% 的假设基于语义查询能力的公开评测描述，未取得实测数据，压缩幅度可能被高估[13]。

对号入座：第一条与第二条对应第二章的度量口径与第六章的测算参数，第三条对应第二章与第六章的工时结构，第四条对应第三章的标准缺口说明，第五条对应第五章与第七章的分层代价讨论，第六条对应第三章的维护成本假设。

结论一：噪音的实际成本集中在工时结构而非数量感受。噪音占全部告警处理工时的 45.5%（测算）[9]。

结论二：精确率与召回率存在可量化的替代。有效告警占比由 17% 升至 31% 对应召回率由 94% 降至 76%（测算）[11]。

结论三：分层比统一收紧更有效。三级分层后即时响应级有效告警占比升至 61%，而总体水平为 23%（测算）[12]。

结论四：响应时延是结果指标。噪音过滤比例由 0 提升至 80% 时，平均响应时延由 12.5 分钟降至 8.6 分钟（测算）[10]。

结论五：漏报成本显著高于误报。漏报 1 条有效告警的处置成本约为误报 1 条的 60 倍（测算）[11]，阈值方向应偏向保住召回率。五项阈值的汇总口径为：有效告警占比 23%、信噪比 3.35 比 1、噪音占用处理工时 45.5%、有效告警平均响应时延 12.5 分钟、召回率 88%（测算）[16]，其中前三项可由系统自身统计，后两项需要配套的复盘机制才能核验。

建议持续跟踪五个观察指标，作为上述判断的验证锚点：

1. 三级告警的数量占比与各级有效告警占比（验证结论三，证伪线为即时响应级有效占比未显著高于总体）；
2. 即时响应级的平均响应时延与噪音过滤比例（验证结论四，证伪线为噪音减半后时延未明显下降）；
3. 事故事件中曾被历史告警覆盖的比例（验证结论二与第七章的召回滞后判断，证伪线为该比例在分层后明显下降）；
4. 被关闭告警中附带判断依据的比例、自动升级告警的有效占比（验证第五章的流动规则设计，证伪线为自动升级告警有效占比低于该层级原有水平）；
5. 阈值条数的变化与阈值维护工时（验证第三章的维护成本判断，证伪线为阈值条数增长幅度超过维护工时下降幅度）。

本报告共设七条可证伪链，覆盖分层优于统一收紧、响应时延的结果属性、查询能力的传导路径、数量导向治理的风险、自动流动规则的替代作用、指标改善的不对称性，以及精确率与召回率的替代关系。每条链均给出主要依据、适用边界、反面证据、跟踪指标与证伪条件。

本报告所有关键数据均按四档标注来源档次，以区分证据强度与可复核性：

• 国际组织与政府统计口径：国际组织指标序列与政府部门发布的制度文件，可直接核到指标代码与年度；
• 机构二手口径：行业媒体报道中引述的机构评测与主管部门评估结果，可核到原文段落；
• 媒体转引口径：行业媒体对公开信息的转引与解读，可核到原文段落但无原始数据条；
• 未取得可靠来源：本报告对该类指标统一降级为定性讨论或以示例性取值替代，并在正文明确标注为测算或缺口。

本报告关键测算的口径定义如下。有效告警占比等于有效告警条数除以全部告警条数；召回率等于被成功告警的真实问题数除以全部真实问题数；信噪比等于噪音告警条数除以有效告警条数；噪音工时占比等于噪音告警处理工时除以全部告警处理工时，其中处理工时按条数乘以单条平均耗时计算；响应时延按噪音占用比例的变化等比折算。以上口径的分子、分母、单位与年份均在正文或本附录中明示，供读者替换参数后自行复算。