阈值设定方法论：静态阈值 vs 动态阈值，基线学习与异常检测
大家好，我是老赵。今天咱们聊聊监控告警里最让人头疼的一个问题——阈值怎么设。
说实话，我见过太多团队把阈值设成拍脑袋的数字。CPU 使用率超过 80% 就报警？磁盘空间剩 10% 就报警？嗯，这种搞法，要么告警淹死人，要么故障漏报。我自己踩过这个坑，而且不止一次。
一、静态阈值：简单粗暴，但别滥用
静态阈值，说白了就是定一个固定值。比如内存使用率 > 90% 就告警。它最大的优点是——简单。你不需要什么机器学习，不需要历史数据，一行配置搞定。
适用场景：
- 资源硬限制：磁盘满了就是满了，100% 没商量
- 业务 SLA 承诺：响应时间超过 500ms 就算超时
- 安全相关：登录失败次数超过 5 次就锁定
但我得提醒你，静态阈值有个致命问题——它不认环境。举个例子，你给一个 Web 服务器设 CPU 80% 告警。白天高峰期，CPU 长期在 75% 徘徊，你天天收不到告警，觉得系统稳得很。结果某天凌晨三点，CPU 突然飙到 85%，告警响了，你爬起来一看——哦，是定时任务在跑批处理。
我曾经给一个数据库服务器设了磁盘 90% 告警。结果某天半夜两点告警响了，我火急火燎连上去，发现是日志文件在疯狂增长。但问题是——这个增长是正常的业务高峰导致的，第二天一早就自动清理了。那次之后，我学会了：静态阈值只适合那些「越界就是故障」的场景。
二、动态阈值：让系统自己学会「正常」
动态阈值，说白了就是让系统根据历史数据，自动算出一个合理的告警边界。你想想看，一个电商网站，双十一的流量是平时的 10 倍。你用静态阈值，平时 80% 告警，双十一 90% 都算正常。这不就乱套了吗？
动态阈值的核心思路是：不是看绝对值，而是看变化量。
我习惯用百分位数来做动态阈值。比如 P99 响应时间，如果过去 7 天同一时刻的 P99 是 200ms，今天突然变成 500ms，那肯定有问题。但如果是缓慢增长，从 200ms 涨到 250ms，可能只是正常波动。
我的经验：动态阈值不是万能的。它需要足够的历史数据（至少 2 周），而且对周期性要求很高。如果你的业务没有明显周期（比如 7×24 小时都差不多），动态阈值反而容易误报。
三、基线学习：给系统画一张「正常画像」
基线学习，是动态阈值的升级版。它不只是算一个阈值，而是给系统画一张「正常行为画像」。这张画像包含多个维度：时间、流量、资源消耗、依赖关系等等。
我举个例子。一个微服务 A，它依赖服务 B 和 C。正常情况下，A 的请求量是 1000 QPS，B 返回 500 QPS，C 返回 500 QPS。如果某天 A 的请求量还是 1000，但 B 返回了 800，C 只返回了 200——虽然总量没变，但分布变了。这说明 B 可能出了问题，或者 C 的响应变慢了。
基线学习怎么做？我常用的方法有两种：
| 方法 | 原理 | 适用场景 | 缺点 |
|---|---|---|---|
| 周期性基线 | 按天/周/月统计历史数据，取均值或中位数 | 有明显业务周期的系统 | 对突发流量不敏感 |
| 滑动窗口基线 | 取最近 N 个时间窗口的数据做统计 | 流量变化较快的系统 | 对历史数据依赖大 |
我个人更推荐组合使用。先用周期性基线画出大致的「正常范围」，再用滑动窗口捕捉短期波动。这样既不会漏报，也不会因为节假日流量变化而误报。
四、异常检测：从「看数值」到「看模式」
异常检测，是阈值设定的终极形态。它不关心具体数值，而是关心「模式是否异常」。比如一个 API 的调用量突然下降 50%，但 CPU 和内存都正常——这算不算异常？
算。因为调用量下降可能意味着前端挂了，或者网络断了。但如果你只看 CPU 和内存，你永远发现不了这个问题。
异常检测常用的算法有：
- 3-Sigma：假设数据符合正态分布，超过均值 ±3 倍标准差就算异常。简单，但要求数据分布稳定。
- MAD（中位数绝对偏差）：对异常值不敏感，适合有尖峰的数据。
- DBSCAN 聚类：把正常行为聚成一类，离群点就是异常。适合多维数据。
- 孤立森林：随机切分数据，异常点更容易被孤立出来。适合高维数据。
避坑指南：我曾经在一个金融项目里用 3-Sigma 做异常检测。结果发现，每天凌晨的定时任务会导致 CPU 短暂飙升，3-Sigma 每次都报警。后来我改用 MAD，因为 MAD 对这种周期性尖峰不敏感，误报率直接降了 80%。
五、一张图看懂阈值设定方法论
下面这张图是我自己总结的阈值设定决策流程。你照着走一遍，基本不会出错。
六、实战建议：从简单开始，逐步演进
如果你刚开始做监控告警，我建议你：
- 先用静态阈值兜底。把那些「越界就是故障」的指标先管起来。比如磁盘满、进程挂掉、端口不通。
- 再引入动态阈值。选几个关键业务指标，比如响应时间、错误率，用百分位数做动态阈值。
- 最后上基线学习和异常检测。等你有足够的历史数据了，再考虑用算法做更精细的检测。
一个小技巧：我习惯在告警规则里加一个「观察期」。比如 CPU 超过 90% 持续 5 分钟才告警。这样能过滤掉很多瞬时尖峰。你想想看，CPU 突然飙到 95% 又马上降下来，可能只是 GC 了一下，没必要半夜把你叫起来。
阈值设定这件事，说白了就是平衡。平衡误报和漏报，平衡简单和复杂，平衡成本和收益。没有银弹，只有适合你业务的方案。
嗯，今天就聊到这儿。记住一句话：先让告警不淹死人，再让告警不漏掉故障。一步步来，别想一口吃成胖子。
公众号:蓝海资料掘金营，微信deep3321