可用性監控與告警工具怎麼配:從告警到值班

工具設定的本質是“把信號送到對的人手上”。順序配錯,會出現一堆告警卻沒人處理。下面按信號流向逐段配。

資訊中心:可用性監控與告警工具怎麼配:從告警到值班

第一段:探測源

  • 外部撥測:覆蓋首頁與關鍵頁,2–5 個地域,1–5 分鍾間隔。
  • 內部指標:CPU、記憶體、磁碟、連接數,1 分鍾採集。
  • 合成事務:表單、登入等關鍵流程,5–15 分鍾一次。

每個探測源配好後,先單獨驗證一次,確認資料能正常上報。

第二段:判定規則

對象 規則 參數
首頁 連續失敗 3 次 / 1 分鍾
關鍵頁 連續失敗 + 內容校驗 3 次
資料庫 連接探測 2 次失敗
證書 剩餘天數 14 天警告 / 7 天嚴重
磁碟 使用率 80% 警告 / 90% 嚴重

規則要寫進文件,改規則要留痕,否則半年後沒人知道爲什麼這麼設。

第三段:告警路由

  • P1(站點不可用、核心流程失敗)→ IM + 電話。
  • P2(單頁異常、響應超時)→ IM。
  • P3(證書臨期、備份失敗)→ 郵件 + 日報。
  • 資訊(巡檢結果)→ 只進日報。

路由的關鍵是“分級明確”,不要讓所有告警進同一個通道。

第四段:降噪與聚合

  • 同一時間窗內同源告警合併。
  • 站點級故障只發一條,附帶受影響頁面清單。
  • 維護窗口自動靜音,結束後恢復。
  • 恢復時補發一條恢復通知。

沒有降噪,一週後團隊就會屏蔽羣消息。

第五段:值班與升級

  • 值班表寫明第一響應人、備份人、時段。
  • 升級規則:15 分鍾未響應 → 負責人;30 分鍾 → 管理層。
  • 告警內容含定位資訊:URL、狀態碼、耗時、地域。
  • 每次處理記錄開始與恢復時間。

第六段:復盤與清理

  • 每月看一次告警總數與誤報率。
  • 每季度清理長期未觸發的規則。
  • 每次 P1 故障後,把“人發現的”轉成“監控能發現的”。

驗收:模擬一次故障

  • 手動停服務,5 分鍾內收到 P1。
  • 恢復後收到恢復通知。
  • 告警裡能直接看到哪個頁面、什麼錯誤。
  • 值班人能按文件定位到日誌位置。

邊界

工具設定能保證“信號可達”,但響應品質取決於流程與人。沒有值班制度,再好的工具也只是通知欄。

相關閱讀: