可用性监控与告警出问题先查什么:5 步排查法

“监控不准”有两种:真故障没报,假故障乱报。先分清是哪一种,再按五步往下查。

コラム・情報:可用性监控与告警出问题先查什么:5 步排查法

第一步:判断告警真假

  • 用浏览器或另一网络手动访问目标页面。
  • 用命令行工具从另一台机器访问,看状态码与耗时。
  • 对照探测时间点,看是否与维护窗口重合。

结论分支: 手动也访问不了 → 真故障,转故障处理;手动正常 → 疑似误报,走第二步。

第二步:查探测源

  • 探测节点是否在线、配额是否用尽。
  • 探测地域是否与目标站同线路(同机房探测容易误判)。
  • 探测频率是否过高被目标防火墙限流。
  • 探测规则是否被改过(换 URL、换关键字)。

误报最常见的原因是探测方本身有问题。

第三步:查判定规则

  • 连续失败次数是否被调成 1。
  • 内容校验是否过于严格(页面改版后标记变了)。
  • 证书检查是否把“警告”当“严重”触发。
  • 是否把不同级别的告警合并到了同一通道。

第四步:查通道与静音

  • 测试消息是否能正常到达。
  • 告警通道是否被群机器人限制或屏蔽。
  • 维护窗口是否忘记静音,或静音后忘记恢复。
  • 是否有告警被人工“忽略”后永久静音。

第五步:查监控覆盖

  • 新上线的页面是否加入监控。
  • 新的依赖(缓存、搜索服务)是否有监控。
  • 老页面下线后,监控项是否清理。
  • 是否有重复监控同一 URL 的规则。

五步排查的顺序逻辑

从“外部表现”往里查:先确认故障真假,再查信号源,再查判定,再查通道,最后查覆盖。反过来查容易在规则里绕圈。

常见结论与处理

现象 大概率原因 处理
同一时刻大量告警 探测方网络故障 换探测点复核
单页反复告警 内容校验过严 放宽关键字匹配
告警无人收到 通道失效 测试消息验证
新页面无监控 覆盖未更新 补入清单
告警长期被忽略 误报率高 重构规则

边界

五步排查针对监控体系本身的问题。若确认是真故障,应转入故障处理流程,先恢复服务,再回头修监控。

相关阅读: