资讯中心:可用性监控与告警工具怎么配:从告警到值班
第一段:探测源
- 外部拨测:覆盖首页与关键页,2–5 个地域,1–5 分钟间隔。
- 内部指标:CPU、内存、磁盘、连接数,1 分钟采集。
- 合成事务:表单、登录等关键流程,5–15 分钟一次。
每个探测源配好后,先单独验证一次,确认数据能正常上报。
第二段:判定规则
| 对象 | 规则 | 参数 |
|---|---|---|
| 首页 | 连续失败 | 3 次 / 1 分钟 |
| 关键页 | 连续失败 + 内容校验 | 3 次 |
| 数据库 | 连接探测 | 2 次失败 |
| 证书 | 剩余天数 | 14 天警告 / 7 天严重 |
| 磁盘 | 使用率 | 80% 警告 / 90% 严重 |
规则要写进文档,改规则要留痕,否则半年后没人知道为什么这么设。
第三段:告警路由
- P1(站点不可用、核心流程失败)→ IM + 电话。
- P2(单页异常、响应超时)→ IM。
- P3(证书临期、备份失败)→ 邮件 + 日报。
- 信息(巡检结果)→ 只进日报。
路由的关键是“分级明确”,不要让所有告警进同一个通道。
第四段:降噪与聚合
- 同一时间窗内同源告警合并。
- 站点级故障只发一条,附带受影响页面清单。
- 维护窗口自动静音,结束后恢复。
- 恢复时补发一条恢复通知。
没有降噪,一周后团队就会屏蔽群消息。
第五段:值班与升级
- 值班表写明第一响应人、备份人、时段。
- 升级规则:15 分钟未响应 → 负责人;30 分钟 → 管理层。
- 告警内容含定位信息:URL、状态码、耗时、地域。
- 每次处理记录开始与恢复时间。
第六段:复盘与清理
- 每月看一次告警总数与误报率。
- 每季度清理长期未触发的规则。
- 每次 P1 故障后,把“人发现的”转成“监控能发现的”。
验收:模拟一次故障
- 手动停服务,5 分钟内收到 P1。
- 恢复后收到恢复通知。
- 告警里能直接看到哪个页面、什么错误。
- 值班人能按文档定位到日志位置。
边界
工具配置能保证“信号可达”,但响应质量取决于流程与人。没有值班制度,再好的工具也只是通知栏。
相关阅读: