資訊中心:日誌與資料分析故障排查:從現象到根因
四類故障
| 類型 | 現象 | 入口 |
|---|---|---|
| 指標異常 | 數值暴漲暴跌 | 對比同期與採集完整性 |
| 資料缺失 | 某天無記錄 | 採集工作與磁碟 |
| 口徑不一 | 兩處數字不一致 | 過濾條件與時區 |
| 查詢太慢 | 分析要跑很久 | 資料量與掃描範圍 |
指標異常
- 先看是否同一時間口徑。
- 再看採集是否中斷(日誌檔案是否有空檔)。
- 再看是否有發佈或改版導致行爲變化。
三種可能按順序排除,通常前兩種佔多數。
資料缺失
- 檢查採集工作是否失敗(是否有告警)。
- 檢查磁碟是否寫滿導致寫入失敗。
- 檢查輪轉設定是否誤刪當日檔案。
口徑不一致
- 一個統計含爬蟲,另一個不含。
- 一個按工作階段算,一個按請求算。
- 時區不同導致跨天差異。
統一口徑寫成文件,是解決這類問題的唯一辦法。
查詢太慢
- 資料量增長但查詢仍全量掃描。
- 沒有按時間分區。
- 分析指令碼重複計算同一批資料。
方向:先加時間過濾,再考慮預聚合。
排查順序
- 確認資料是否存在。
- 確認口徑是否一致。
- 確認採集是否完整。
- 最後懷疑程式碼邏輯。
多數人從第 4 步開始,反而繞遠。
邊界
本文按中小站場景整理。分佈式系統的日誌一致性涉及鏈路追蹤,需另行設計。
相關閱讀: