一线运维实战手记 · 云计算 · 数据库 · 故障排查

故障排查与实战

121 篇

记录系统故障定位、性能分析、应急响应与生产环境复盘。

最新文章

存储故障22 篇

硬盘年化故障率 1.36% 意味着什么：把统计数字变成运维决策 Backblaze 年度报告显示整体年化故障率降至 … 阅读全文 → 数据完整性受损复盘：三副本、RAID 都保不住的那一类故障 2018年腾讯云客户「前沿数控」数据完整性受损、索赔… 阅读全文 → Linux 磁盘空间/inode 耗尽导致服务异常故障实记 服务无法写入、报 disk full 或 inode… 阅读全文 → 网络链路丢包时延抖动故障实记 业务高峰期网络丢包、时延增大，从 ping/trac… 阅读全文 →

容器故障19 篇

为什么「只改个磁盘大小」也能把服务改挂：有状态服务的变更风险 AdGuard VPN 曾因一次「看起来很简单」的 … 阅读全文 → PHP 容器化引发 502 复盘：容器化特有的坑 基于真实案例：PHP容器化后502频发，PID1/前… 阅读全文 → Kafka 消息积压线上事故复盘：从 Lag 飙升到根治 基于真实案例：消费能力不足致消息积压，排查、应急扩容… 阅读全文 → SpringCloud Gateway OOM 故障复盘：网关全站入口不可用 基于真实案例：网关堆外内存泄漏导致OOM，定位到过滤… 阅读全文 →

操作系统故障27 篇

磁盘还有空间，服务却写不进去：inode 耗尽排查 df -h 显示还有几十 G 空闲，服务却报「设备上… 阅读全文 → 看上去是证书问题，其实是时间不对：时间不同步引发的隐蔽故障 TLS 握手失败去查证书、集群频繁选主去查网络、定时… 阅读全文 → 内核回归引发的线上故障：为什么「升到最新稳定版」也可能是风险 Linux 6.12 曾出现 workqueue 卡… 阅读全文 → 误删生产服务器数据恢复实录：能救多少救多少 基于真实案例：误删文件后文件系统层恢复（extund… 阅读全文 →

数据库故障28 篇

MySQL 实例为什么会崩：两个官方 Bug 号背后的真实触发场景 实例突然消失，重启就好，但你不知道它为什么崩。MyS… 阅读全文 → 数据库连接数打满：现象一样，根因可能有五种 「连不上数据库」是最没信息量的一句报错，背后至少藏着… 阅读全文 → 「我们有备份」是信息量最低的一句话：备份的三个等级 备份成功只证明流程走通了，能恢复只证明数据能还原，只… 阅读全文 → 微盟删库事件复盘：36 小时、赔付 1.5 亿，防删库到底该有几道防线 2020 年微盟因内部人员删库中断约 36 小时，赔… 阅读全文 →

服务器故障26 篇

打补丁打出蓝屏：一次 Windows 累积更新引发的服务器批量故障 打补丁是最常规的运维动作，正因为太常规，几乎没人会为… 阅读全文 → ESXi 紫屏（PSOD）：主机直接挂掉，所有虚拟机同时停 紫屏的排查方向经常一开始就搞错：它是宿主机内核崩溃，… 阅读全文 → NFS 卡死：为什么服务器会「假死」而不是报错 ping 得通、SSH 连得上，但几乎所有命令都卡住… 阅读全文 → SSD 固件 bug 让服务器变砖：固件管理的五个环节 机械盘坏之前有异响和 SMART 预警，SSD 可能… 阅读全文 →

网络故障18 篇

交换机为什么会自己重启：两个 Cisco IOS-XE 公开 Bug 的排查实录 配置没问题、日志没报错、操作很规范，但设备就是重启了… 阅读全文 → 一次配错的路由通告，是怎么传遍整个互联网的：BGP 劫持与路由泄漏复盘 2008年巴基斯坦电信为封锁 YouTube 而错误… 阅读全文 → 能 ping 通，却传不了大文件：一次 MTU 黑洞的定位实录 小接口正常、大文件卡死、ping 和 tracero… 阅读全文 → 一个 MAC 地址破的案：核心交换机防火墙模块 IP 冲突引发的「假 ARP 欺骗」排查实录 业务时断时续、网关时通时不通，抓包看到有设备声称自己… 阅读全文 →

虚拟化故障12 篇

虚拟化平台备份与恢复：快照不是备份、不演练等于没有 备份软件的界面上，四十七天的备份任务全部成功，绿油油… 阅读全文 → 虚拟机性能排查：%RDY、内存气球与看不见的指标 我进虚拟机去看。top 里 CPU 用了 20%，f… 阅读全文 → 虚拟化平台存储故障：APD 与 PDL 的区别 那次事故到现在我还是不太愿意讲。周五下午 16 点 … 阅读全文 → 凌晨两点存储告警：快照把卷撑满了怎么收场 凌晨两点十七分，客户的 IT 主管打电话来：「存储告… 阅读全文 →