自动化运维--网卡link监控及告警

二、prometheus 部署

去官网下载一个对应平台的安装包 https://prometheus.io/download/

下载2.37.1 release版本

[root@localhost monitor]# wget https://github.com/prometheus/prometheus/releases/download/v2.37.1/prometheus-2.37.1.linux-amd64.tar.gz

下载后解压

[root@localhost monitor]# tar zxvf prometheus-2.37.1.linux-amd64.tar.gz

把prometheus的服务写成系统服务

[root@localhost monitor]# mv /root/monitor/prometheus-2.37.1.linux-amd64/prometheus /usr/local/bin/

[root@localhost monitor]# cat <<EOF > /usr/lib/systemd/system/prometheus.service
[Unit]
Description=prometheus

[Service]
Type=simple
ExecStart=/usr/local/bin/prometheus --config.file=/root/monitor/prometheus-2.37.1.linux-amd64/prometheus.yml --web.enable-lifecycle
SuccessExitStatus=143
Restart=always
RestartSec=3

[Install]
WantedBy=multi-user.target
EOF

加上执行权限

chmod 755 /usr/lib/systemd/system/prometheus.service

开机自启动服务

systemctl start prometheus
systemctl enable prometheus

IP:9090即可登录prometheus web

三、alertmanager部署

下载 https://prometheus.io/download/

wget https://github.com/prometheus/alertmanager/releases/download/v0.24.0/alertmanager-0.24.0.linux-amd64.tar.gz
[root@localhost monitor]# tar zxvf alertmanager-0.24.0.linux-amd64.tar.gz

安装成系统服务

[root@localhost monitor]# mv alertmanager-0.24.0.linux-amd64/alertmanager /usr/local/bin

cat <<EOF > /usr/lib/systemd/system/alertmanager.service
[Unit]
Descriptinotallow=alertmanager

[Service]
Type=simple
ExecStart=/usr/local/bin/alertmanager --cluster.advertise-address=0.0.0.0:9093 --config.file=/root/monitor/alertmanager-0.24.0.linux-amd64/alertmanager.yml
SuccessExitStatus=143
Restart=always
RestartSec=3

[Install]
WantedBy=multi-user.target
EOF
chmod 755 /usr/lib/systemd/system/alertmanager.service

开机自启动

systemctl start alertmanager.service
systemctl enable alertmanager.service

web登录alertmanager

ip:9093

四、grafana部署

[root@localhost monitor]# wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.2.3-1.x86_64.rpm
[root@localhost monitor]# yum localinstall grafana-enterprise-9.2.2-1.x86_64.rpm -y
systemctl start grafana-server
systemctl enable grafana-server

web登录

IP:3000 默认用户名密码为admin/admin

五、客户端node_exporter部署

wget https://github.com/prometheus/node_exporter/releases/download/v1.4.0/node_exporter-1.4.0.linux-amd64.tar.
gz
tar zxvf node_exporter-1.4.0.linux-amd64.tar.gz

也可以写成系统服务，简单运行的话直接运行在后台即可

./node_exporter &

在服务端配置该客户端的监听

vim prometheus-2.37.1.linux-amd64/prometheus.yml
- job_name: "Nic Monitor"
static_configs:
- targets: ["192.168.31.214:9100"]

已经监控生效

六、配置grafana

配置数据源，这里没有额外用influxdb，直接选择prometheus即可

配置dashboard，去https://grafana.com/grafana/dashboards/下载自己需要的模板，然后导入

可以自己自定义修改模板

七、配置告警

prometheus通过PromQL设置自己需要的监控项，根据对监控数据做运算后得出想要的监控项，并发送给alertmanager进行路由处理。

prometheus.yml增加配置

rule_files:

- "/root/monitor/rules/*.rules"

在该目录下自定义各类rules

自定义rules规则，这些固定下来就不需要动了，当alert状态到Firing的时候就会发送到alertmanager

配置网卡link的检查项（后续可以check其他项，如CPU，内存，流量等）

groups:
- name: Link_status
rules:
# Alert for any instance that is unreachable for >1 minutes.
- alert: LinkDown
expr: node_network_up == 0
for: 1m
labels:
severity: 高
annotations:
summary: "the NIC {{ $labels.device }} of SERVER {{ $labels.instance }} is down"

配置告警设置

因为触发了alert后，prometheus会发送到alertmanager

在prometheus.yml文件中配置alertmanager

alerting:
alertmanagers:
- static_configs:
- targets: ['localhost:9093']

在alertmanager配置router和receivers。

alertmanager支持对告警消息的分组，抑制和静默。

可以匹配alert里面的各类标签进行分组，并路由到不同的receiver去。

这里没什么需求的话就设置一个顶部路由即可。

附alertmanager配置文件和邮件模板

alertmanager.yml

global:
resolve_timeout: 5m
smtp_from: '发件的邮箱'
smtp_smarthost: 'smtp.qq.com:465'
smtp_auth_username: '改成你的邮箱'
smtp_auth_password: '改成你邮箱的密码'
smtp_require_tls: false
smtp_hello: 'qq.com'
templates:
- '/root/monitor/alertmanager-0.24.0.linux-amd64/email.tmpl'
route:
group_by: ['device']
group_wait: 10s
group_interval: 1m
repeat_interval: 1h
receiver: 'manager'

receivers:
- name: 'manager'
email_configs:
- to: [email protected]
headers: { Subject: " 【告警信息】 {{ .CommonLabels.alertname }} " }
html: '{{ template "email.to.html" . }}'
send_resolved: true

inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'dev', 'instance']

{{ define "email.from" }}管理员{{ end }}
{{ define "email.to" }}[email protected]{{ end }}
{{ define "email.to.html" }}
{{- if gt (len .Alerts.Firing) 0 -}}
{{- range $index, $alert := .Alerts -}}
======== 异常告警 ======== 
告警名称：{{ $alert.Labels.alertname }} 
告警级别：{{ $alert.Labels.severity }} 
告警机器：{{ $alert.Labels.instance }} 
告警网卡：{{ $alert.Labels.device }} 
告警详情：{{ $alert.Annotations.summary }} 
告警时间：{{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }} 
========== END ========== 
{{- end }}
{{- end }}
{{- if gt (len .Alerts.Resolved) 0 -}}
{{- range $index, $alert := .Alerts -}}
======== 告警恢复 ======== 
告警名称：{{ $alert.Labels.alertname }} 
告警级别：{{ $alert.Labels.severity }} 
告警机器：{{ $alert.Labels.instance }} 
告警网卡：{{ $alert.Labels.device }} 
告警详情：{{ $alert.Annotations.summary }} 
告警时间：{{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }} 
恢复时间：{{ ($alert.EndsAt.Add 28800e9).Format "2006-01-02 15:04:05" }} 
========== END ========== 
{{- end }}
{{- end }}
{{- end }}

二、prometheus 部署

三、alertmanager部署

四、grafana部署

五、客户端node_exporter部署

六、配置grafana

七、配置告警

Recommend

坐标经纬度 - PHP 工具类

以数助实攻坚产业协作蚂蚁集团数字科技业务亮相云栖大会

阿里达摩院五年磨一剑重磅推出AI模型社区直击“AI应用难”

sql：递减/递减更新一列字段值

医疗器械，再不上车就来不及了

梦天实验舱段成功转位，中国空间站建造迈出关键一步！

李想再发声：“是时候该和连续七年的亏损经营说再见了！”

[Hive 基础]-- 使用 Map 和 Array 数据结构

shell结合expect 脚本自动备份华为交换机配置文件

【服务器数据恢复】RAID5崩溃后强制上线离线盘导致文件系统不一致的数据恢复案例

About Joyk