日誌與資料分析故障排查:從現象到根因

分析結果不對勁,多數不是日誌錯了,而是“口徑變了”或“採集斷了”。

資訊中心:日誌與資料分析故障排查:從現象到根因

四類故障

類型 現象 入口
指標異常 數值暴漲暴跌 對比同期與採集完整性
資料缺失 某天無記錄 採集工作與磁碟
口徑不一 兩處數字不一致 過濾條件與時區
查詢太慢 分析要跑很久 資料量與掃描範圍

指標異常

  • 先看是否同一時間口徑。
  • 再看採集是否中斷(日誌檔案是否有空檔)。
  • 再看是否有發佈或改版導致行爲變化。

三種可能按順序排除,通常前兩種佔多數。

資料缺失

  • 檢查採集工作是否失敗(是否有告警)。
  • 檢查磁碟是否寫滿導致寫入失敗。
  • 檢查輪轉設定是否誤刪當日檔案。

口徑不一致

  • 一個統計含爬蟲,另一個不含。
  • 一個按工作階段算,一個按請求算。
  • 時區不同導致跨天差異。

統一口徑寫成文件,是解決這類問題的唯一辦法。

查詢太慢

  • 資料量增長但查詢仍全量掃描。
  • 沒有按時間分區。
  • 分析指令碼重複計算同一批資料。

方向:先加時間過濾,再考慮預聚合。

排查順序

  1. 確認資料是否存在。
  2. 確認口徑是否一致。
  3. 確認採集是否完整。
  4. 最後懷疑程式碼邏輯。

多數人從第 4 步開始,反而繞遠。

邊界

本文按中小站場景整理。分佈式系統的日誌一致性涉及鏈路追蹤,需另行設計。

相關閱讀: