网站架构与数据库故障排查:从现象到根因

现象只有几种,根因却有十几种。按“现象 → 层 → 证据”的方式排查,能少走弯路。

コラム・情報:网站架构与数据库故障排查:从现象到根因

现象一:整站突然变慢

可能层: 数据库压力、磁盘 IO、外部依赖超时。

定位路径:

  1. 看 CPU 与磁盘 IO 是否同时上升。
  2. 看慢查询日志是否在同一时段激增。
  3. 看是否有外部接口超时未被捕获。
  4. 看是否有人跑了批量任务或全量导出。

根因判断: 数据库 CPU 高 + 慢查询集中 → 查询问题;磁盘 IO 高但查询正常 → 备份或日志写入。

现象二:偶发超时,重试就好

可能层: 连接池耗尽、锁等待、缓存击穿。

定位路径:

  • 看连接数曲线是否呈锯齿状。
  • 看是否有长事务占锁。
  • 看缓存失效瞬间是否出现请求突发。

根因判断: 锯齿状连接 + 无明显慢 SQL → 连接池太小或请求堆积;缓存失效瞬间突增 → 缓存击穿。

现象三:后台改了,前台没变

可能层: 页面缓存、CDN 缓存、对象缓存、主从延迟。

定位路径:

  1. 直接访问源站,绕过 CDN。
  2. 检查页面缓存是否命中(看响应头)。
  3. 检查后台更新是否清了对应缓存键。
  4. 检查是否读的是从库。

根因判断: 源站正确但公网旧 → CDN;源站也旧 → 页面缓存或对象缓存;刚更新就读 → 主从延迟。

现象四:高峰期大量报错

可能层: 连接耗尽、队列积压、文件句柄、内存。

定位路径:

  • 看错误类型:连接失败、超时、内存溢出。
  • 看进程数与队列长度。
  • 看是否有慢请求长时间占用进程。

根因判断: 错误集中在连接失败 → 连接池或数据库上限;集中在超时 → 慢请求堆积。

排查时的三条原则

  1. 先止血后查因:先恢复服务,再找根因。
  2. 一次只改一处:同时改缓存与查询,无法归因。
  3. 留证据:日志、监控曲线、执行计划都截图存档。

常见误判

  • 把“数据库慢”当成“服务器不行”,直接升配,问题依旧。
  • 把“缓存没命中”当成“缓存坏了”,其实键设计有问题。
  • 把“主从延迟”当成“代码 bug”,改代码无效。

边界

排查路径覆盖常见现象,不覆盖代码级缺陷(如死循环、内存泄漏)。后者需要结合日志与代码审查。

相关阅读: