监控
9 MIN READ · 实操
监控告警设计:少而准的 12 条核心告警
告警太多等于没有告警。本文给出一套「基础设施 + 应用 + 安全」三层的最小告警集,以及阈值、抑制与值班安排。
核心结论
告警设计的目标是「每条告警都能对应一个动作」。如果收到告警不知道要做什么,这条告警就应该删掉或降级。
1. 三层监控
| 层 | 看什么 | 工具 |
|---|---|---|
| 基础设施 | CPU、内存、磁盘、网络、进程 | node_exporter + Prometheus |
| 应用 | QPS、错误率、延迟、队列积压 | APM / 日志 |
| 业务 | 订单量、支付成功率、登录成功率 | 埋点 + 报表 |
只监控 CPU 是不够的:CPU 正常但支付成功率为 0,业务已经挂了。
2. 十二条核心告警
- 主机失联超过 2 分钟;
- 磁盘使用率 > 85%(且 4 小时内将满);
- 内存可用 < 10% 且持续 10 分钟;
- 负载持续高于核数 2 倍;
- Web 5xx 比例 > 1%(5 分钟窗口);
- 接口 P95 延迟超过阈值 2 倍;
- 数据库连接数 > 80% 上限;
- 主从复制延迟 > 30 秒;
- 备份任务失败或产物为 0 字节;
- 证书剩余有效期 < 15 天;
- 登录失败次数突增(同 IP 5 分钟内 > 50);
- 进程消失(Nginx/MySQL/PHP-FPM)。
3. 阈值不是拍脑袋
先用两周数据算基线,再取「正常峰值 × 1.5」作为初始阈值,然后根据误报调整。磁盘类告警用「预测 4 小时内写满」比固定 85% 更准:
# Prometheus 预测磁盘写满时间
predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4*3600) < 0
4. 抑制与分组
- 主机失联时,抑制该主机上所有应用告警;
- 同一服务多实例告警合并为一条;
- 计划维护窗口内静默;
- 依赖故障(数据库挂了)导致的上层告警降级。
没有抑制规则,一次数据库抖动会产生几百条告警,值班人员会直接关通知。
5. 分级与值班
| 级别 | 定义 | 通知方式 | 响应 |
|---|---|---|---|
| P1 | 业务不可用、数据风险 | 电话 + 短信 | 15 分钟 |
| P2 | 性能明显下降、单点故障 | IM + 短信 | 30 分钟 |
| P3 | 容量预警、非核心异常 | IM | 工作时间 |
6. 告警之后要有动作
每条告警都应关联「处理手册」链接:磁盘满了先清什么、5xx 突增先看哪里、证书怎么续。没有手册的告警,半夜叫醒人也只能干瞪眼。
7. 复盘指标
- 告警总数与有效告警比例(目标 > 60%);
- 平均确认时间、平均恢复时间;
- 漏报事件数(最关键的指标);
- 重复告警 TOP5 及处理结果。
反模式:把所有日志错误都配成告警。日志里的 error 90% 无需人工介入,应该先做聚合与采样。
本文由站点编辑整理,配置与命令已在测试环境验证;不同发行版与版本可能存在差异,执行前请先在非生产环境演练。