日志与数据分析故障排查:从现象到根因

分析结果不对劲,多数不是日志错了,而是“口径变了”或“采集断了”。

コラム・情報:日志与数据分析故障排查:从现象到根因

四类故障

类型 现象 入口
指标异常 数值暴涨暴跌 对比同期与采集完整性
数据缺失 某天无记录 采集任务与磁盘
口径不一 两处数字不一致 过滤条件与时区
查询太慢 分析要跑很久 数据量与扫描范围

指标异常

  • 先看是否同一时间口径。
  • 再看采集是否中断(日志文件是否有空档)。
  • 再看是否有发布或改版导致行为变化。

三种可能按顺序排除,通常前两种占多数。

数据缺失

  • 检查采集任务是否失败(是否有告警)。
  • 检查磁盘是否写满导致写入失败。
  • 检查轮转配置是否误删当日文件。

口径不一致

  • 一个统计含爬虫,另一个不含。
  • 一个按会话算,一个按请求算。
  • 时区不同导致跨天差异。

统一口径写成文档,是解决这类问题的唯一办法。

查询太慢

  • 数据量增长但查询仍全量扫描。
  • 没有按时间分区。
  • 分析脚本重复计算同一批数据。

方向:先加时间过滤,再考虑预聚合。

排查顺序

  1. 确认数据是否存在。
  2. 确认口径是否一致。
  3. 确认采集是否完整。
  4. 最后怀疑代码逻辑。

多数人从第 4 步开始,反而绕远。

边界

本文按中小站场景整理。分布式系统的日志一致性涉及链路追踪,需另行设计。

相关阅读: