日志与数据分析是什么:用一张图讲清原理

日志分析的本质是“把原始记录逐层压缩成几个能判断的数字”。多数团队卡在第二层,日志有,但没人清洗。

コラム・情報:日志与数据分析是什么:用一张图讲清原理

五层结构

访问/错误/业务事件
        ↓ 采集
      原始日志
        ↓ 存储
      可查询档案
        ↓ 清洗
      去噪后的记录
        ↓ 聚合
      指标(PV/UV/转化/错误率)
        ↓ 判断
     动作(改页面/修配置/加防护)

每一层都在“压缩信息”,最后只留下能支撑动作的数字。

采集层

  • 访问日志:谁在什么时候请求了什么。
  • 错误日志:哪里失败了、失败原因。
  • 业务事件:注册、提交、下单等。

采集的关键是格式统一,字段可解析。

存储层

  • 小站:直接存文件,按天切分。
  • 中站:入数据库或日志服务。
  • 关键:能按时间范围快速查。

清洗层

  • 去掉爬虫与内部访问。
  • 去掉重复记录(重试、重放)。
  • 统一时间与时区。

不清洗的日志,指标会系统性偏高。

聚合层

指标 含义
PV/UV 访问量
停留与深度 内容是否有用
转化率 表单/咨询占比
错误率 稳定性
来源分布 渠道有效性

判断层

  • 指标异常 → 定位到具体页面或时段。
  • 定位到原因 → 形成一条动作。
  • 动作执行 → 回看指标变化。

没有判断层,前四层都是成本。

常见断点

  • 日志没采集业务事件,只有访问记录。
  • 有日志但不清楚字段含义。
  • 有人看报表,但没人做对比。
  • 只关注流量,不关注错误率。

边界

本文讲原理,不涉及具体工具配置。选型与命令见同簇其他文章。

相关阅读: