可用性監控與告警出問題先查什麼:5 步排查法

“監控不準”有兩種:真故障沒報,假故障亂報。先分清是哪一種,再按五步往下查。

資訊中心:可用性監控與告警出問題先查什麼:5 步排查法

第一步:判斷告警真假

  • 用瀏覽器或另一網路手動訪問目標頁面。
  • 用命令行工具從另一台機器訪問,看狀態碼與耗時。
  • 對照探測時間點,看是否與維護窗口重合。

結論分支: 手動也訪問不了 → 真故障,轉故障處理;手動正常 → 疑似誤報,走第二步。

第二步:查探測源

  • 探測節點是否線上、配額是否用盡。
  • 探測地域是否與目標站同線路(同機房探測容易誤判)。
  • 探測頻率是否過高被目標防火牆限流。
  • 探測規則是否被改過(換 URL、換關鍵字)。

誤報最常見的原因是探測方本身有問題。

第三步:查判定規則

  • 連續失敗次數是否被調成 1。
  • 內容校驗是否過於嚴格(頁面改版後標記變了)。
  • 證書檢查是否把“警告”當“嚴重”觸發。
  • 是否把不同級別的告警合併到了同一通道。

第四步:查通道與靜音

  • 測試消息是否能正常到達。
  • 告警通道是否被羣機器人限制或屏蔽。
  • 維護窗口是否忘記靜音,或靜音後忘記恢復。
  • 是否有告警被人工“忽略”後永久靜音。

第五步:查監控覆蓋

  • 新上線的頁面是否加入監控。
  • 新的依賴(快取、搜尋服務)是否有監控。
  • 老頁面下線後,監控項是否清理。
  • 是否有重複監控同一 URL 的規則。

五步排查的順序邏輯

從“外部表現”往裡查:先確認故障真假,再查信號源,再查判定,再查通道,最後查覆蓋。反過來查容易在規則裡繞圈。

常見結論與處理

現象 大概率原因 處理
同一時刻大量告警 探測方網路故障 換探測點復核
單頁反復告警 內容校驗過嚴 放寬關鍵字匹配
告警無人收到 通道失效 測試消息驗證
新頁面無監控 覆蓋未更新 補入清單
告警長期被忽略 誤報率高 重構規則

邊界

五步排查針對監控體系本身的問題。若確認是真故障,應轉入故障處理流程,先恢復服務,再回頭修監控。

相關閱讀: