可用性监控与告警工具怎么配:从告警到值班

工具配置的本质是“把信号送到对的人手上”。顺序配错,会出现一堆告警却没人处理。下面按信号流向逐段配。

资讯中心:可用性监控与告警工具怎么配:从告警到值班

第一段:探测源

  • 外部拨测:覆盖首页与关键页,2–5 个地域,1–5 分钟间隔。
  • 内部指标:CPU、内存、磁盘、连接数,1 分钟采集。
  • 合成事务:表单、登录等关键流程,5–15 分钟一次。

每个探测源配好后,先单独验证一次,确认数据能正常上报。

第二段:判定规则

对象 规则 参数
首页 连续失败 3 次 / 1 分钟
关键页 连续失败 + 内容校验 3 次
数据库 连接探测 2 次失败
证书 剩余天数 14 天警告 / 7 天严重
磁盘 使用率 80% 警告 / 90% 严重

规则要写进文档,改规则要留痕,否则半年后没人知道为什么这么设。

第三段:告警路由

  • P1(站点不可用、核心流程失败)→ IM + 电话。
  • P2(单页异常、响应超时)→ IM。
  • P3(证书临期、备份失败)→ 邮件 + 日报。
  • 信息(巡检结果)→ 只进日报。

路由的关键是“分级明确”,不要让所有告警进同一个通道。

第四段:降噪与聚合

  • 同一时间窗内同源告警合并。
  • 站点级故障只发一条,附带受影响页面清单。
  • 维护窗口自动静音,结束后恢复。
  • 恢复时补发一条恢复通知。

没有降噪,一周后团队就会屏蔽群消息。

第五段:值班与升级

  • 值班表写明第一响应人、备份人、时段。
  • 升级规则:15 分钟未响应 → 负责人;30 分钟 → 管理层。
  • 告警内容含定位信息:URL、状态码、耗时、地域。
  • 每次处理记录开始与恢复时间。

第六段:复盘与清理

  • 每月看一次告警总数与误报率。
  • 每季度清理长期未触发的规则。
  • 每次 P1 故障后,把“人发现的”转成“监控能发现的”。

验收:模拟一次故障

  • 手动停服务,5 分钟内收到 P1。
  • 恢复后收到恢复通知。
  • 告警里能直接看到哪个页面、什么错误。
  • 值班人能按文档定位到日志位置。

边界

工具配置能保证“信号可达”,但响应质量取决于流程与人。没有值班制度,再好的工具也只是通知栏。

相关阅读: