资讯中心:日志与数据分析故障排查:从现象到根因
四类故障
| 类型 | 现象 | 入口 |
|---|---|---|
| 指标异常 | 数值暴涨暴跌 | 对比同期与采集完整性 |
| 数据缺失 | 某天无记录 | 采集任务与磁盘 |
| 口径不一 | 两处数字不一致 | 过滤条件与时区 |
| 查询太慢 | 分析要跑很久 | 数据量与扫描范围 |
指标异常
- 先看是否同一时间口径。
- 再看采集是否中断(日志文件是否有空档)。
- 再看是否有发布或改版导致行为变化。
三种可能按顺序排除,通常前两种占多数。
数据缺失
- 检查采集任务是否失败(是否有告警)。
- 检查磁盘是否写满导致写入失败。
- 检查轮转配置是否误删当日文件。
口径不一致
- 一个统计含爬虫,另一个不含。
- 一个按会话算,一个按请求算。
- 时区不同导致跨天差异。
统一口径写成文档,是解决这类问题的唯一办法。
查询太慢
- 数据量增长但查询仍全量扫描。
- 没有按时间分区。
- 分析脚本重复计算同一批数据。
方向:先加时间过滤,再考虑预聚合。
排查顺序
- 确认数据是否存在。
- 确认口径是否一致。
- 确认采集是否完整。
- 最后怀疑代码逻辑。
多数人从第 4 步开始,反而绕远。
边界
本文按中小站场景整理。分布式系统的日志一致性涉及链路追踪,需另行设计。
相关阅读: