资讯中心:日志与数据分析是什么:用一张图讲清原理
五层结构
访问/错误/业务事件
↓ 采集
原始日志
↓ 存储
可查询档案
↓ 清洗
去噪后的记录
↓ 聚合
指标(PV/UV/转化/错误率)
↓ 判断
动作(改页面/修配置/加防护)
每一层都在“压缩信息”,最后只留下能支撑动作的数字。
采集层
- 访问日志:谁在什么时候请求了什么。
- 错误日志:哪里失败了、失败原因。
- 业务事件:注册、提交、下单等。
采集的关键是格式统一,字段可解析。
存储层
- 小站:直接存文件,按天切分。
- 中站:入数据库或日志服务。
- 关键:能按时间范围快速查。
清洗层
- 去掉爬虫与内部访问。
- 去掉重复记录(重试、重放)。
- 统一时间与时区。
不清洗的日志,指标会系统性偏高。
聚合层
| 指标 | 含义 |
|---|---|
| PV/UV | 访问量 |
| 停留与深度 | 内容是否有用 |
| 转化率 | 表单/咨询占比 |
| 错误率 | 稳定性 |
| 来源分布 | 渠道有效性 |
判断层
- 指标异常 → 定位到具体页面或时段。
- 定位到原因 → 形成一条动作。
- 动作执行 → 回看指标变化。
没有判断层,前四层都是成本。
常见断点
- 日志没采集业务事件,只有访问记录。
- 有日志但不清楚字段含义。
- 有人看报表,但没人做对比。
- 只关注流量,不关注错误率。
边界
本文讲原理,不涉及具体工具配置。选型与命令见同簇其他文章。
相关阅读: