服务器安全 · 加固 · 检测 · 应急响应 · 代维 SINCE 2009 速查表 工具 词典
服务器安全资讯网
公告

提供服务器安全维护、安全设置、安全加固、应急响应、救援;服务器配置及代维等服务!

服务项目 →
监控 9 MIN READ · 实操

监控告警设计:少而准的 12 条核心告警

告警太多等于没有告警。本文给出一套「基础设施 + 应用 + 安全」三层的最小告警集,以及阈值、抑制与值班安排。

核心结论

告警设计的目标是「每条告警都能对应一个动作」。如果收到告警不知道要做什么,这条告警就应该删掉或降级。

1. 三层监控

层看什么工具
基础设施CPU、内存、磁盘、网络、进程node_exporter + Prometheus
应用QPS、错误率、延迟、队列积压APM / 日志
业务订单量、支付成功率、登录成功率埋点 + 报表

只监控 CPU 是不够的:CPU 正常但支付成功率为 0,业务已经挂了。

2. 十二条核心告警

  1. 主机失联超过 2 分钟;
  2. 磁盘使用率 > 85%(且 4 小时内将满);
  3. 内存可用 < 10% 且持续 10 分钟;
  4. 负载持续高于核数 2 倍;
  5. Web 5xx 比例 > 1%(5 分钟窗口);
  6. 接口 P95 延迟超过阈值 2 倍;
  7. 数据库连接数 > 80% 上限;
  8. 主从复制延迟 > 30 秒;
  9. 备份任务失败或产物为 0 字节;
  10. 证书剩余有效期 < 15 天;
  11. 登录失败次数突增(同 IP 5 分钟内 > 50);
  12. 进程消失(Nginx/MySQL/PHP-FPM)。

3. 阈值不是拍脑袋

先用两周数据算基线,再取「正常峰值 × 1.5」作为初始阈值,然后根据误报调整。磁盘类告警用「预测 4 小时内写满」比固定 85% 更准:

# Prometheus 预测磁盘写满时间
predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4*3600) < 0

4. 抑制与分组

  • 主机失联时,抑制该主机上所有应用告警;
  • 同一服务多实例告警合并为一条;
  • 计划维护窗口内静默;
  • 依赖故障(数据库挂了)导致的上层告警降级。

没有抑制规则,一次数据库抖动会产生几百条告警,值班人员会直接关通知。

5. 分级与值班

级别定义通知方式响应
P1业务不可用、数据风险电话 + 短信15 分钟
P2性能明显下降、单点故障IM + 短信30 分钟
P3容量预警、非核心异常IM工作时间

6. 告警之后要有动作

每条告警都应关联「处理手册」链接:磁盘满了先清什么、5xx 突增先看哪里、证书怎么续。没有手册的告警,半夜叫醒人也只能干瞪眼。

7. 复盘指标

  • 告警总数与有效告警比例(目标 > 60%);
  • 平均确认时间、平均恢复时间;
  • 漏报事件数(最关键的指标);
  • 重复告警 TOP5 及处理结果。
反模式:把所有日志错误都配成告警。日志里的 error 90% 无需人工介入,应该先做聚合与采样。

本文由站点编辑整理,配置与命令已在测试环境验证;不同发行版与版本可能存在差异,执行前请先在非生产环境演练。

相关阅读