Prometheus 监控系列搭建 Alertmanager 告警体系实现邮件告警全流程实战第2部Prometheus告警Alertmanager介绍整体工作流程Alertmanager部署集成到Prometheus邮箱告警及告警规则验证邮箱告警第2部Prometheus告警摘要本文是 Prometheus 监控系列的第 2 部分聚焦告警体系的搭建与验证。文章首先介绍 Alertmanager 在告警链路中的角色与整体工作流程随后演示 Alertmanager 的下载、解压、systemd 托管部署并将其集成到 Prometheus 配置中。接着以 QQ 邮箱为例详细配置 SMTP 邮件告警接收器并编写基于磁盘分区使用率的 PromQL 告警规则。最后通过创建大文件触发告警完整验证了从 Prometheus 告警触发、Alertmanager 邮件分发到 QQ 邮箱收到通知的闭环流程。Alertmanager介绍Alertmanager 是 Prometheus 生态独立的告警管理组件PrometheusPrometheus 负责计算告警规则把触发的告警通过 HTTP 推送给 Alertmanager由 Alertmanager 做告警降噪、分组、路由、分发通知再发给邮件、钉钉、企业微信、webhook 等渠道。⚠️ 告警是两套组件分工Prometheus写告警规则、判断是否触发Alertmanager只处理告警不做指标采集与规则计算整体工作流程Prometheus 根据alert.rules规则计算条件满足进入firing状态Prometheus 将告警 POST 发送给 Alertmanager/api/v1/alertsAlertmanager 执行分组 → 去重 → 抑制 / 静默过滤 → 路由匹配接收器通过接收器发送告警通知故障恢复后发送恢复通知resolved。Alertmanager部署从Prometheus官网获取[rootprometheus-server ~]# wget https://github.com/prometheus/alertmanager/releases/download/v0.30.1/alertmanager-0.30.1.linux-amd64.tar.gz源码包解压[rootprometheus-server ~]# tar zxvf alertmanager-0.30.1.linux-amd64.tar.gzalertmanager-0.30.1.linux-amd64/ alertmanager-0.30.1.linux-amd64/alertmanager.yml alertmanager-0.30.1.linux-amd64/NOTICE alertmanager-0.30.1.linux-amd64/alertmanager alertmanager-0.30.1.linux-amd64/LICENSE alertmanager-0.30.1.linux-amd64/amtool[rootprometheus-server ~]# mv alertmanager-0.30.1.linux-amd64 /usr/local/src/alertmanager启动服务[rootprometheus-server ~]# nohup /usr/local/src/alertmanager/alertmanager --config.file/usr/local/src/alertmanager/alertmanager.yml [1]1787[rootprometheus-server ~]# nohup: 忽略输入并把输出追加到nohup.out[rootprometheus-server ~]# ps -ef | grep alertmanagerroot17871660119:15 pts/0 00:00:00 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml root17951660019:15 pts/0 00:00:00grep--colorauto alertmanager使用systemd管理[rootprometheus-server ~]# kill -9 1787[rootprometheus-server ~]# vim /usr/lib/systemd/system/alertmanager.service[Service]ExecStart/usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml[Install]WantedBymulti-user.target[Unit]DescriptionalertmanagerAfternetwork.target[rootprometheus-server ~]# systemctl daemon-reload[rootprometheus-server ~]# systemctl enable alertmanager.service --nowCreated symlink from /etc/systemd/system/multi-user.target.wants/alertmanager.service to /usr/lib/systemd/system/alertmanager.service.[rootprometheus-server ~]# systemctl status alertmanager.service● alertmanager.service - alertmanager Loaded: loaded(/usr/lib/systemd/system/alertmanager.service;enabled;vendor preset: disabled)Active: active(running)since 二2026-09-0119:18:21 CST;5s ago Main PID:1971(alertmanager)Tasks:7Memory:12.7M CGroup: /system.slice/alertmanager.service └─1971 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager...查看端口[rootprometheus-server ~]# ss -anput | grep 9093tcp LISTEN0128[::]:9093[::]:* users:((alertmanager,pid1971,fd7))打开网页http://192.168.18.128:9093/集成到Prometheus在Prometheus-server配置文件prometheus.yml中修改[rootprometheus-server ~]# vim /usr/local/src/prometheus/prometheus.yml//8-12行...7# Alertmanager configuration8alerting:9alertmanagers:10- static_configs:11- targets:12-192.168.100.128:9093#修改为alertmanager的IP及对应端口... //15-16行15rule_files:16-rules/*.yml//增加alertmanager监控项... - job_name:alertmanager# metrics_path defaults to /metrics# scheme defaults to http.static_configs: - targets:[192.168.100.128:9093]#重启服务[rootprometheus-server ~]# systemctl restart prometheus.service查看Prometheus的target邮箱告警及告警规则注册邮箱开启授权码开启服务刚开始服务会自动生成授权码,如果忘记没有复制无法找回只能重新生成生成新的授权码在alertmanager服务器上操作添加邮箱告警设置[rootprometheus-server ~]# cd /usr/local/src/alertmanager/[rootprometheus-server alertmanager]# cp -p alertmanager.yml alertmanager.yml.bk[rootprometheus-server alertmanager]# vim alertmanager.ymlglobal:# 全局配置块作用于整个Alertmanagerresolve_timeout: 5m# 解析超时时间告警消失后5分钟没有再次收到告警则判定为故障恢复resolvedsmtp_smarthost:smtp.qq.com:465# QQ邮箱SMTP服务器地址和端口465为SSL端口smtp_from:2370787636qq.com# 发件人邮箱告警邮件显示是谁发出smtp_auth_username:2370787636qq.com# SMTP认证用户名就是QQ邮箱账号smtp_auth_password:kjuoiwndbjyodjbc# SMTP认证密码QQ邮箱这里填16位授权码不是登录密码smtp_hello:qq.com# SMTP HELO握手时携带的主机标识QQ邮箱填qq.comsmtp_require_tls:false# 是否开启TLS465(SSL端口)必须关闭587端口才设置truetemplates:# 告警消息模板文件路径自定义邮件/钉钉告警消息格式-templates/*.tmplroute:# 告警路由根节点告警分组、降噪、分发的核心配置group_by:[alertname,instance]# 告警分组把alertnameinstance相同的多条告警合并为一条通知防止告警风暴group_wait: 10s# 收到第一条告警后等待10秒收集同组其他告警再统一发送通知group_interval: 10s# 同一告警组上一组通知发完后间隔10s才允许发送本组下一次通知repeat_interval: 15m# 同一个持续未恢复告警每15分钟重复发送一次告警通知receiver:email-notify# 本路由匹配到的告警交给哪个接收器处理receivers:# 接收器列表定义各个通知渠道邮箱、webhook钉钉等- name:email-notify# 接收器名称route里面receiver字段要和这里名字完全一致email_configs:# 邮箱通知配置块- to:2370787636qq.com# 收件邮箱告警邮件发给谁send_resolved:true# 开启故障恢复(resolved)之后也发送恢复通知邮件inhibit_rules:[]# 告警抑制规则数组[]代表为空不配置任何自动抑制规则重启alertmanager[rootprometheus-server alertmanager]# systemctl restart alertmanager在Prometheus-server上操作设置告警规则[rootprometheus-server alertmanager]# mkdir /usr/local/src/prometheus/rules[rootprometheus-server alertmanager]# cd[rootprometheus-server ~]# vim /usr/local/src/prometheus/rules/node_alerts.ymlgroups:# 规则组一组告警规则集合- name: general.rules# 规则组名称自定义用于分类管理多条告警规则rules:# rules该组下定义的告警规则列表- alert: NodeFilesystemUsage# alert告警名称告警触发后alertname标签就是该值expr:100-(node_filesystem_free_bytes{mountpoint/,fstype~ext4|xfs}/ node_filesystem_size_bytes{mountpoint/,fstype~ext4|xfs}*100)30# exprPromQL表达式计算/根分区磁盘使用率使用率30满足告警条件除法两边标签过滤器保持完全一致for: 1m# for持续等待时间指标满足条件必须持续1分钟才真正触发告警消除瞬时抖动误告警labels:# labels给告警添加自定义标签用于alertmanager做路由、抑制规则匹配severity: warning# severity告警等级标签warning为警告级别还有critical严重级别annotations:# annotations告警注释信息仅展示不会作为告警匹配标签用于邮件/钉钉告警消息内容summary:Instance {{$labels.instance }} : {{$labels.mountpoint }} 分区使用率过高# summary告警简短标题{{ $labels.xxx }}模板语法动态读取指标的标签description:{{$labels.instance }} : {{$labels.job }} : {{$labels.mountpoint }} 这个分区使用大于百分之三十(当前值{{$value}})# description告警详情{{ $value }}代表PromQL表达式计算出的数值结果重启服务[rootprometheus-server ~]# systemctl restart prometheus.service验证邮箱告警在Prometheus-server服务器上操作先查看当前/分区占用[rootprometheus-server ~]# df -hT文件系统 类型 容量 已用 可用 已用% 挂载点 devtmpfs devtmpfs1.9G01.9G0% /dev tmpfs tmpfs1.9G01.9G0% /dev/shm tmpfs tmpfs1.9G 12M1.9G1% /run tmpfs tmpfs1.9G01.9G0% /sys/fs/cgroup /dev/mapper/centos-root xfs 17G6.2G 11G37% / /dev/sda1 xfs 1014M 195M 820M20% /boot tmpfs tmpfs 378M0378M0% /run/user/0进行测试创建大容量文件[rootprometheus-server ~]# dd if/dev/zero of/test bs10M count10000dd: 写入/test出错: 设备上没有空间 记录了11080 的读入 记录了11070 的写出11612389376字节(12GB)已复制63.3676 秒183 MB/秒Prometheus页面已经出现告警提示alertmanager中也已经出现邮件告警在qq邮箱中收到了告警邮件
Prometheus 监控系列搭建 Alertmanager 告警体系实现邮件告警全流程实战第2部Prometheus告警Alertmanager介绍整体工作流程Alertmanager部署集成到Prometheus邮箱告警及告警规则验证邮箱告警第2部Prometheus告警摘要本文是 Prometheus 监控系列的第 2 部分聚焦告警体系的搭建与验证。文章首先介绍 Alertmanager 在告警链路中的角色与整体工作流程随后演示 Alertmanager 的下载、解压、systemd 托管部署并将其集成到 Prometheus 配置中。接着以 QQ 邮箱为例详细配置 SMTP 邮件告警接收器并编写基于磁盘分区使用率的 PromQL 告警规则。最后通过创建大文件触发告警完整验证了从 Prometheus 告警触发、Alertmanager 邮件分发到 QQ 邮箱收到通知的闭环流程。Alertmanager介绍Alertmanager 是 Prometheus 生态独立的告警管理组件PrometheusPrometheus 负责计算告警规则把触发的告警通过 HTTP 推送给 Alertmanager由 Alertmanager 做告警降噪、分组、路由、分发通知再发给邮件、钉钉、企业微信、webhook 等渠道。⚠️ 告警是两套组件分工Prometheus写告警规则、判断是否触发Alertmanager只处理告警不做指标采集与规则计算整体工作流程Prometheus 根据alert.rules规则计算条件满足进入firing状态Prometheus 将告警 POST 发送给 Alertmanager/api/v1/alertsAlertmanager 执行分组 → 去重 → 抑制 / 静默过滤 → 路由匹配接收器通过接收器发送告警通知故障恢复后发送恢复通知resolved。Alertmanager部署从Prometheus官网获取[rootprometheus-server ~]# wget https://github.com/prometheus/alertmanager/releases/download/v0.30.1/alertmanager-0.30.1.linux-amd64.tar.gz源码包解压[rootprometheus-server ~]# tar zxvf alertmanager-0.30.1.linux-amd64.tar.gzalertmanager-0.30.1.linux-amd64/ alertmanager-0.30.1.linux-amd64/alertmanager.yml alertmanager-0.30.1.linux-amd64/NOTICE alertmanager-0.30.1.linux-amd64/alertmanager alertmanager-0.30.1.linux-amd64/LICENSE alertmanager-0.30.1.linux-amd64/amtool[rootprometheus-server ~]# mv alertmanager-0.30.1.linux-amd64 /usr/local/src/alertmanager启动服务[rootprometheus-server ~]# nohup /usr/local/src/alertmanager/alertmanager --config.file/usr/local/src/alertmanager/alertmanager.yml [1]1787[rootprometheus-server ~]# nohup: 忽略输入并把输出追加到nohup.out[rootprometheus-server ~]# ps -ef | grep alertmanagerroot17871660119:15 pts/0 00:00:00 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml root17951660019:15 pts/0 00:00:00grep--colorauto alertmanager使用systemd管理[rootprometheus-server ~]# kill -9 1787[rootprometheus-server ~]# vim /usr/lib/systemd/system/alertmanager.service[Service]ExecStart/usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml[Install]WantedBymulti-user.target[Unit]DescriptionalertmanagerAfternetwork.target[rootprometheus-server ~]# systemctl daemon-reload[rootprometheus-server ~]# systemctl enable alertmanager.service --nowCreated symlink from /etc/systemd/system/multi-user.target.wants/alertmanager.service to /usr/lib/systemd/system/alertmanager.service.[rootprometheus-server ~]# systemctl status alertmanager.service● alertmanager.service - alertmanager Loaded: loaded(/usr/lib/systemd/system/alertmanager.service;enabled;vendor preset: disabled)Active: active(running)since 二2026-09-0119:18:21 CST;5s ago Main PID:1971(alertmanager)Tasks:7Memory:12.7M CGroup: /system.slice/alertmanager.service └─1971 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager...查看端口[rootprometheus-server ~]# ss -anput | grep 9093tcp LISTEN0128[::]:9093[::]:* users:((alertmanager,pid1971,fd7))打开网页http://192.168.18.128:9093/集成到Prometheus在Prometheus-server配置文件prometheus.yml中修改[rootprometheus-server ~]# vim /usr/local/src/prometheus/prometheus.yml//8-12行...7# Alertmanager configuration8alerting:9alertmanagers:10- static_configs:11- targets:12-192.168.100.128:9093#修改为alertmanager的IP及对应端口... //15-16行15rule_files:16-rules/*.yml//增加alertmanager监控项... - job_name:alertmanager# metrics_path defaults to /metrics# scheme defaults to http.static_configs: - targets:[192.168.100.128:9093]#重启服务[rootprometheus-server ~]# systemctl restart prometheus.service查看Prometheus的target邮箱告警及告警规则注册邮箱开启授权码开启服务刚开始服务会自动生成授权码,如果忘记没有复制无法找回只能重新生成生成新的授权码在alertmanager服务器上操作添加邮箱告警设置[rootprometheus-server ~]# cd /usr/local/src/alertmanager/[rootprometheus-server alertmanager]# cp -p alertmanager.yml alertmanager.yml.bk[rootprometheus-server alertmanager]# vim alertmanager.ymlglobal:# 全局配置块作用于整个Alertmanagerresolve_timeout: 5m# 解析超时时间告警消失后5分钟没有再次收到告警则判定为故障恢复resolvedsmtp_smarthost:smtp.qq.com:465# QQ邮箱SMTP服务器地址和端口465为SSL端口smtp_from:2370787636qq.com# 发件人邮箱告警邮件显示是谁发出smtp_auth_username:2370787636qq.com# SMTP认证用户名就是QQ邮箱账号smtp_auth_password:kjuoiwndbjyodjbc# SMTP认证密码QQ邮箱这里填16位授权码不是登录密码smtp_hello:qq.com# SMTP HELO握手时携带的主机标识QQ邮箱填qq.comsmtp_require_tls:false# 是否开启TLS465(SSL端口)必须关闭587端口才设置truetemplates:# 告警消息模板文件路径自定义邮件/钉钉告警消息格式-templates/*.tmplroute:# 告警路由根节点告警分组、降噪、分发的核心配置group_by:[alertname,instance]# 告警分组把alertnameinstance相同的多条告警合并为一条通知防止告警风暴group_wait: 10s# 收到第一条告警后等待10秒收集同组其他告警再统一发送通知group_interval: 10s# 同一告警组上一组通知发完后间隔10s才允许发送本组下一次通知repeat_interval: 15m# 同一个持续未恢复告警每15分钟重复发送一次告警通知receiver:email-notify# 本路由匹配到的告警交给哪个接收器处理receivers:# 接收器列表定义各个通知渠道邮箱、webhook钉钉等- name:email-notify# 接收器名称route里面receiver字段要和这里名字完全一致email_configs:# 邮箱通知配置块- to:2370787636qq.com# 收件邮箱告警邮件发给谁send_resolved:true# 开启故障恢复(resolved)之后也发送恢复通知邮件inhibit_rules:[]# 告警抑制规则数组[]代表为空不配置任何自动抑制规则重启alertmanager[rootprometheus-server alertmanager]# systemctl restart alertmanager在Prometheus-server上操作设置告警规则[rootprometheus-server alertmanager]# mkdir /usr/local/src/prometheus/rules[rootprometheus-server alertmanager]# cd[rootprometheus-server ~]# vim /usr/local/src/prometheus/rules/node_alerts.ymlgroups:# 规则组一组告警规则集合- name: general.rules# 规则组名称自定义用于分类管理多条告警规则rules:# rules该组下定义的告警规则列表- alert: NodeFilesystemUsage# alert告警名称告警触发后alertname标签就是该值expr:100-(node_filesystem_free_bytes{mountpoint/,fstype~ext4|xfs}/ node_filesystem_size_bytes{mountpoint/,fstype~ext4|xfs}*100)30# exprPromQL表达式计算/根分区磁盘使用率使用率30满足告警条件除法两边标签过滤器保持完全一致for: 1m# for持续等待时间指标满足条件必须持续1分钟才真正触发告警消除瞬时抖动误告警labels:# labels给告警添加自定义标签用于alertmanager做路由、抑制规则匹配severity: warning# severity告警等级标签warning为警告级别还有critical严重级别annotations:# annotations告警注释信息仅展示不会作为告警匹配标签用于邮件/钉钉告警消息内容summary:Instance {{$labels.instance }} : {{$labels.mountpoint }} 分区使用率过高# summary告警简短标题{{ $labels.xxx }}模板语法动态读取指标的标签description:{{$labels.instance }} : {{$labels.job }} : {{$labels.mountpoint }} 这个分区使用大于百分之三十(当前值{{$value}})# description告警详情{{ $value }}代表PromQL表达式计算出的数值结果重启服务[rootprometheus-server ~]# systemctl restart prometheus.service验证邮箱告警在Prometheus-server服务器上操作先查看当前/分区占用[rootprometheus-server ~]# df -hT文件系统 类型 容量 已用 可用 已用% 挂载点 devtmpfs devtmpfs1.9G01.9G0% /dev tmpfs tmpfs1.9G01.9G0% /dev/shm tmpfs tmpfs1.9G 12M1.9G1% /run tmpfs tmpfs1.9G01.9G0% /sys/fs/cgroup /dev/mapper/centos-root xfs 17G6.2G 11G37% / /dev/sda1 xfs 1014M 195M 820M20% /boot tmpfs tmpfs 378M0378M0% /run/user/0进行测试创建大容量文件[rootprometheus-server ~]# dd if/dev/zero of/test bs10M count10000dd: 写入/test出错: 设备上没有空间 记录了11080 的读入 记录了11070 的写出11612389376字节(12GB)已复制63.3676 秒183 MB/秒Prometheus页面已经出现告警提示alertmanager中也已经出现邮件告警在qq邮箱中收到了告警邮件
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
