資訊中心:可用性監控與告警出問題先查什麼:5 步排查法
第一步:判斷告警真假
- 用瀏覽器或另一網路手動訪問目標頁面。
- 用命令行工具從另一台機器訪問,看狀態碼與耗時。
- 對照探測時間點,看是否與維護窗口重合。
結論分支: 手動也訪問不了 → 真故障,轉故障處理;手動正常 → 疑似誤報,走第二步。
第二步:查探測源
- 探測節點是否線上、配額是否用盡。
- 探測地域是否與目標站同線路(同機房探測容易誤判)。
- 探測頻率是否過高被目標防火牆限流。
- 探測規則是否被改過(換 URL、換關鍵字)。
誤報最常見的原因是探測方本身有問題。
第三步:查判定規則
- 連續失敗次數是否被調成 1。
- 內容校驗是否過於嚴格(頁面改版後標記變了)。
- 證書檢查是否把“警告”當“嚴重”觸發。
- 是否把不同級別的告警合併到了同一通道。
第四步:查通道與靜音
- 測試消息是否能正常到達。
- 告警通道是否被羣機器人限制或屏蔽。
- 維護窗口是否忘記靜音,或靜音後忘記恢復。
- 是否有告警被人工“忽略”後永久靜音。
第五步:查監控覆蓋
- 新上線的頁面是否加入監控。
- 新的依賴(快取、搜尋服務)是否有監控。
- 老頁面下線後,監控項是否清理。
- 是否有重複監控同一 URL 的規則。
五步排查的順序邏輯
從“外部表現”往裡查:先確認故障真假,再查信號源,再查判定,再查通道,最後查覆蓋。反過來查容易在規則裡繞圈。
常見結論與處理
| 現象 | 大概率原因 | 處理 |
|---|---|---|
| 同一時刻大量告警 | 探測方網路故障 | 換探測點復核 |
| 單頁反復告警 | 內容校驗過嚴 | 放寬關鍵字匹配 |
| 告警無人收到 | 通道失效 | 測試消息驗證 |
| 新頁面無監控 | 覆蓋未更新 | 補入清單 |
| 告警長期被忽略 | 誤報率高 | 重構規則 |
邊界
五步排查針對監控體系本身的問題。若確認是真故障,應轉入故障處理流程,先恢復服務,再回頭修監控。
相關閱讀: