資訊中心:可用性監控與告警工具怎麼配:從告警到值班
第一段:探測源
- 外部撥測:覆蓋首頁與關鍵頁,2–5 個地域,1–5 分鍾間隔。
- 內部指標:CPU、記憶體、磁碟、連接數,1 分鍾採集。
- 合成事務:表單、登入等關鍵流程,5–15 分鍾一次。
每個探測源配好後,先單獨驗證一次,確認資料能正常上報。
第二段:判定規則
| 對象 | 規則 | 參數 |
|---|---|---|
| 首頁 | 連續失敗 | 3 次 / 1 分鍾 |
| 關鍵頁 | 連續失敗 + 內容校驗 | 3 次 |
| 資料庫 | 連接探測 | 2 次失敗 |
| 證書 | 剩餘天數 | 14 天警告 / 7 天嚴重 |
| 磁碟 | 使用率 | 80% 警告 / 90% 嚴重 |
規則要寫進文件,改規則要留痕,否則半年後沒人知道爲什麼這麼設。
第三段:告警路由
- P1(站點不可用、核心流程失敗)→ IM + 電話。
- P2(單頁異常、響應超時)→ IM。
- P3(證書臨期、備份失敗)→ 郵件 + 日報。
- 資訊(巡檢結果)→ 只進日報。
路由的關鍵是“分級明確”,不要讓所有告警進同一個通道。
第四段:降噪與聚合
- 同一時間窗內同源告警合併。
- 站點級故障只發一條,附帶受影響頁面清單。
- 維護窗口自動靜音,結束後恢復。
- 恢復時補發一條恢復通知。
沒有降噪,一週後團隊就會屏蔽羣消息。
第五段:值班與升級
- 值班表寫明第一響應人、備份人、時段。
- 升級規則:15 分鍾未響應 → 負責人;30 分鍾 → 管理層。
- 告警內容含定位資訊:URL、狀態碼、耗時、地域。
- 每次處理記錄開始與恢復時間。
第六段:復盤與清理
- 每月看一次告警總數與誤報率。
- 每季度清理長期未觸發的規則。
- 每次 P1 故障後,把“人發現的”轉成“監控能發現的”。
驗收:模擬一次故障
- 手動停服務,5 分鍾內收到 P1。
- 恢復後收到恢復通知。
- 告警裡能直接看到哪個頁面、什麼錯誤。
- 值班人能按文件定位到日誌位置。
邊界
工具設定能保證“信號可達”,但響應品質取決於流程與人。沒有值班制度,再好的工具也只是通知欄。
相關閱讀: