資訊中心:日誌與資料分析是什麼:用一張圖講清原理
五層結構
訪問/錯誤/業務事件
↓ 採集
原始日誌
↓ 儲存
可查詢檔案
↓ 清洗
去噪後的記錄
↓ 聚合
指標(PV/UV/轉化/錯誤率)
↓ 判斷
動作(改頁面/修設定/加防護)
每一層都在“壓縮資訊”,最後只留下能支撐動作的數字。
採集層
- 訪問日誌:誰在什麼時候請求了什麼。
- 錯誤日誌:哪裡失敗了、失敗原因。
- 業務事件:註冊、送出、下單等。
採集的關鍵是格式統一,欄位可解析。
儲存層
- 小站:直接存檔案,按天切分。
- 中站:入資料庫或日誌服務。
- 關鍵:能按時間範圍快速查。
清洗層
- 去掉爬蟲與內部訪問。
- 去掉重複記錄(重試、重放)。
- 統一時間與時區。
不清洗的日誌,指標會系統性偏高。
聚合層
| 指標 | 含義 |
|---|---|
| PV/UV | 訪問量 |
| 停留與深度 | 內容是否有用 |
| 轉化率 | 表單/諮詢佔比 |
| 錯誤率 | 穩定性 |
| 來源分佈 | 渠道有效性 |
判斷層
- 指標異常 → 定位到具體頁面或時段。
- 定位到原因 → 形成一條動作。
- 動作執行 → 回看指標變化。
沒有判斷層,前四層都是成本。
常見斷點
- 日誌沒採集業務事件,只有訪問記錄。
- 有日誌但不清楚欄位含義。
- 有人看報表,但沒人做對比。
- 只關注流量,不關注錯誤率。
邊界
本文講原理,不涉及具體工具設定。選型與命令見同簇其他文章。
相關閱讀: