日誌與資料分析是什麼:用一張圖講清原理

日誌分析的本質是“把原始記錄逐層壓縮成幾個能判斷的數字”。多數團隊卡在第二層,日誌有,但沒人清洗。

資訊中心:日誌與資料分析是什麼:用一張圖講清原理

五層結構

訪問/錯誤/業務事件
        ↓ 採集
      原始日誌
        ↓ 儲存
      可查詢檔案
        ↓ 清洗
      去噪後的記錄
        ↓ 聚合
      指標(PV/UV/轉化/錯誤率)
        ↓ 判斷
     動作(改頁面/修設定/加防護)

每一層都在“壓縮資訊”,最後只留下能支撐動作的數字。

採集層

  • 訪問日誌:誰在什麼時候請求了什麼。
  • 錯誤日誌:哪裡失敗了、失敗原因。
  • 業務事件:註冊、送出、下單等。

採集的關鍵是格式統一,欄位可解析。

儲存層

  • 小站:直接存檔案,按天切分。
  • 中站:入資料庫或日誌服務。
  • 關鍵:能按時間範圍快速查。

清洗層

  • 去掉爬蟲與內部訪問。
  • 去掉重複記錄(重試、重放)。
  • 統一時間與時區。

不清洗的日誌,指標會系統性偏高。

聚合層

指標 含義
PV/UV 訪問量
停留與深度 內容是否有用
轉化率 表單/諮詢佔比
錯誤率 穩定性
來源分佈 渠道有效性

判斷層

  • 指標異常 → 定位到具體頁面或時段。
  • 定位到原因 → 形成一條動作。
  • 動作執行 → 回看指標變化。

沒有判斷層,前四層都是成本。

常見斷點

  • 日誌沒採集業務事件,只有訪問記錄。
  • 有日誌但不清楚欄位含義。
  • 有人看報表,但沒人做對比。
  • 只關注流量,不關注錯誤率。

邊界

本文講原理,不涉及具體工具設定。選型與命令見同簇其他文章。

相關閱讀: