一线运维实战手记 · 云计算 · 数据库 · 故障排查
首页 / 合集系列 / 运维故障实记（合集）

📚 运维故障实记（合集）

一线运维真实故障处理实记，按「故障现象→定位→根因→解决→防复发」复盘服务器、存储、虚拟化、数据库、网络、容器等真实排障案例。

怎么学：按 ①→⑩ 顺序学习，每篇讲透「是什么 → 组成 → 怎么装/怎么用 → 怎么运维 → 用什么工具」。学完整个合集，你就能独立完成本方向从入门到上手的核心工作。点击下方任意一篇进入。

  1. 服务器反复重启故障实记：从SEL日志到内存更换
    一台 2U 服务器每天凌晨随机重启，从带外 SEL 事件日志、内存 ECC 错误、风扇电源告警一…
  2. 存储阵列降级故障实记：从告警到换盘重建
    双控磁盘阵列盘组降级+单控制器异常、业务卡顿，从管理界面告警、控制器/盘状态、日志分析到换盘重建…
  3. 虚拟化(ESXi) 虚拟机卡死故障实记：从vCenter到宿主机
    VM 无响应、vCenter 显示异常，从 vSphere 告警、宿主机 ESXi 资源(CPU…
  4. 超融合/集群节点故障实记：从降级到恢复
    集群某节点失联/降级、业务受影响，从集群健康、节点状态、网络/存储/硬件告警，到隔离节点、修复并…
  5. MySQL InnoDB 表损坏崩溃恢复故障实记
    业务报 table is corrupt / InnoDB 崩溃，主库异常，从错误日志、页校验、…
  6. PostgreSQL 连接与慢查询拖垮数据库故障实记
    应用卡顿、连接数打满、CPU 飙升，从 pg_stat_activity、慢查询、锁等待、连接池…
  7. 网络链路丢包时延抖动故障实记
    业务高峰期网络丢包、时延增大，从 ping/traceroute、网卡/端口、光纤/光模块、端口…
  8. Kubernetes 节点 NotReady 与工作负载驱逐故障实记
    节点 NotReady、Pod 被驱逐、服务受影响，从 kubectl 节点状态、kubelet…
  9. 容器 CPU 限流与请求积压故障实记
    容器服务 CPU 限流(throttling)、延迟升高，从 cgroup CPU 统计、req…
  10. Linux 磁盘空间/inode 耗尽导致服务异常故障实记
    服务无法写入、报 disk full 或 inode 耗尽，从 df -i、du、找大文件/小文…
  11. 一次慢 SQL + 锁等待引发的雪崩复盘
    基于真实生产事故：慢 SQL+长事务持锁→锁等待堆积→连接耗尽→雪崩，完整排查与预防。
  12. Nginx 反向代理 502/504 排查实录
    基于真实部署案例：Nginx 502/504 定性、上游健康/资源排查、代理超时与常见根因。
  13. K8s OOMKilled/Exit Code 137 排查实录
    基于真实 OOM 实验：Exit 137、区分限制低还是泄漏、定位内存泄漏与预防。
  14. 一次生产故障完整复盘：Linux 排查全流程实录
    基于真实故障复盘：load/free/vmstat 定方向→top/ps 定位→lsof/ios…
  15. Redis 缓存三大故障复盘：穿透/击穿/雪崩
    基于真实案例：缓存命中率98%跌至23%、17条告警齐发，拆解穿透/击穿/雪崩叠加与根治。
  16. 一行 Nginx 配置引发大促 P0 故障复盘
    基于真实案例：大促当天改一行Nginx配置引发P0，从排查、定位到配置评审与灰度改进。
  17. NetworkPolicy 默认拒绝+egress遗漏，掐断全集群 DNS 复盘
    基于真实案例：default-deny 漏放 DNS egress 导致全集群解析失败，定位到正…
  18. 服务器 CPU 100% 排查全流程实录
    基于真实案例：CPU 100% 连 top 都卡，用分层命令定位到进程/线程/代码与根治。
  19. 服务器磁盘满线上事故完整复盘：从现象到根治
    基于真实案例：磁盘写满致服务异常，df/du/lsof 定位、清理恢复与 logrotate 根…
  20. SSL 证书过期线上故障复盘：从告警到根治
    基于真实案例：证书过期致大面积不可用，openssl 定位、紧急续签、自动续期与到期监控。
  21. 一次线上 JVM OOM 事故复盘：从现象到 dump 分析根治
    基于真实案例：Java 线上 OOM，jstat/jmap/dump 分析定位内存泄漏并根治。
  22. MySQL 连接池耗尽线上故障复盘：慢查询+泄漏+配置
    基于真实案例：连接池打满致接口超时，慢SQL/泄漏/池参数定位与修复。
  23. Redis 崩了：4个致命配置坑复盘
    基于真实案例：凌晨Redis故障致订单损失，剖析内存策略/持久化/单点/大key四个坑。
  24. 一次 Java 线程池误用引发的线上血案复盘
    基于真实案例：newFixedThreadPool 无界队列导致任务堆积、内存暴涨与服务不可用。
  25. 1.5MB 大热 Key 让系统瘫痪：Redis 大key热key复盘
    基于真实案例：双十一大key+热key引发Redis慢查询与带宽打满，定位与根治。
  26. 线上 Nginx 频繁 502：排查三小时定位到一行配置
    基于真实案例：upstream keepalive 等配置缺失导致间歇性502，原理与修复。
  27. 一次缓存击穿暴露限流与降级短板
    基于真实案例：热点key失效瞬间打垮DB，暴露无限流无降级短板与加固方案。
  28. Kafka 消息积压线上事故复盘：从 Lag 飙升到根治
    基于真实案例：消费能力不足致消息积压，排查、应急扩容与根治。
  29. 误 rm -rf 删库事故复盘：紧急恢复全流程
    基于真实案例：误删数据库后 binlog 时间点恢复与延迟从库救命，防呆机制。
  30. SpringCloud Gateway OOM 故障复盘：网关全站入口不可用
    基于真实案例：网关堆外内存泄漏导致OOM，定位到过滤器与Netty直接内存。
  31. 网络瘫痪事件诊断与恢复：逐层排查实录
    基于真实案例：企业网络大面积瘫痪，分层排查定位到广播风暴/环路并恢复。
  32. MySQL 高可用困境复盘：MHA 切换失败与脑裂教训
    基于真实案例：MHA 切换失败与脑裂，方案演进到 MGR/Orchestrator 的选型。
  33. 误删生产服务器数据恢复实录：能救多少救多少
    基于真实案例：误删文件后文件系统层恢复（extundelete/XFS现实）与防呆。
  34. PHP 容器化引发 502 复盘：容器化特有的坑
    基于真实案例：PHP容器化后502频发，PID1/前台进程/探针等容器化特有问题。
📌 提示：合集各篇已在文末互相衔接（上一篇/下一篇）；学完建议动手实操验证，遇到问题先记录、再排查、再复盘。