コラム・情報:可用性监控与告警出问题先查什么:5 步排查法
第一步:判断告警真假
- 用浏览器或另一网络手动访问目标页面。
- 用命令行工具从另一台机器访问,看状态码与耗时。
- 对照探测时间点,看是否与维护窗口重合。
结论分支: 手动也访问不了 → 真故障,转故障处理;手动正常 → 疑似误报,走第二步。
第二步:查探测源
- 探测节点是否在线、配额是否用尽。
- 探测地域是否与目标站同线路(同机房探测容易误判)。
- 探测频率是否过高被目标防火墙限流。
- 探测规则是否被改过(换 URL、换关键字)。
误报最常见的原因是探测方本身有问题。
第三步:查判定规则
- 连续失败次数是否被调成 1。
- 内容校验是否过于严格(页面改版后标记变了)。
- 证书检查是否把“警告”当“严重”触发。
- 是否把不同级别的告警合并到了同一通道。
第四步:查通道与静音
- 测试消息是否能正常到达。
- 告警通道是否被群机器人限制或屏蔽。
- 维护窗口是否忘记静音,或静音后忘记恢复。
- 是否有告警被人工“忽略”后永久静音。
第五步:查监控覆盖
- 新上线的页面是否加入监控。
- 新的依赖(缓存、搜索服务)是否有监控。
- 老页面下线后,监控项是否清理。
- 是否有重复监控同一 URL 的规则。
五步排查的顺序逻辑
从“外部表现”往里查:先确认故障真假,再查信号源,再查判定,再查通道,最后查覆盖。反过来查容易在规则里绕圈。
常见结论与处理
| 现象 | 大概率原因 | 处理 |
|---|---|---|
| 同一时刻大量告警 | 探测方网络故障 | 换探测点复核 |
| 单页反复告警 | 内容校验过严 | 放宽关键字匹配 |
| 告警无人收到 | 通道失效 | 测试消息验证 |
| 新页面无监控 | 覆盖未更新 | 补入清单 |
| 告警长期被忽略 | 误报率高 | 重构规则 |
边界
五步排查针对监控体系本身的问题。若确认是真故障,应转入故障处理流程,先恢复服务,再回头修监控。
相关阅读: