使用alertmanager实现微信报警

2018-06-13

字数统计: 1.5k字 | 阅读时长≈ 7分

上篇介绍了prometheus结合grafana的方式进行集群的监控，该组合可以实现很好监控效果，但是，如果设备出问题了，尤其是一些紧急问题，影响到业务，我们需要安排人员进行紧急处理，所以说及时知晓发生的紧急时间是非常有必要的

写在前面

松鼠哥的ceph专业课程上线啦！
面向新手同学，从0实战，全面入门ceph安装部署与运维，有需要的同学赶紧扫码订购吧：

prometheus的兄弟alertmanager就是一个专门负责报警的组建，它独立于prometheus项目，自行运行并接收来自prometheus的请求，然后使用多种方式进行报警，之所以不是直接集成到prometheus中，我想原因有那么几个：
1、一旦集成到prometheus中，就不好进行冗余部署
2、考虑一下多prometheus对单个alertmanager的情况
3、两个项目都做好自己的事

安装

alertmanager的安装有多种方式，可以是yum安装，也可以下载release包安装，也可以使用git的方式安装，这里介绍release的方式安装：

1	wget https://github.com/prometheus/alertmanager/releases/download/v0.15.0-rc.1/alertmanager-0.15.0-rc.1.linux-amd64.tar.gz

下载完后，创建ceph专用的配置文件：

[tanweijie@ceph-204 alertmanager-0.15.0-rc.2.linux-amd64]$ vim ceph.yml
global:
  resolve_timeout: 5m

templates:
- '/usr/local/alertmanager/ceph.tmpl'

route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 1h
  receiver: 'wechat'
receivers:
- name: 'wechat' #微信的配置
  wechat_configs:
  - corp_id: 'id'  #企业微信都有的四个字段
    to_party: '2'
    agent_id: '1000003'
    api_secret: 'secretid'
    send_resolved: true  #告警解除后否发送通知，这里选择发送

注意各个字段的缩进，缩进不规范会导致文件读取有问题

templates是定义发送内容格式的模版文件，一般使用default的tmpl也可以，这里精简了一下，因为我只需要wechat通知：

主要进行修改的地方是：
{{ define "__alertmanager" }}AlertManager{{ end }}
{{ define "__alertmanagerURL" }}{{ .ExternalURL }}/#/alerts?receiver={{ .Receiver }}{{ end }}

{{ define "__subject" }}[{{ .Status | toUpper }}{{ if eq .Status "firing" }}:{{ .Alerts.Firing | len }}{{ end }}] {{ .GroupLabels.SortedPairs.Values | join " " }} {{ if gt (len .CommonLabels) (len .GroupLabels) }}({{ with .CommonLabels.Remove .GroupLabels.Names }}{{ .Values | join " " }}{{ end }}){{ end }}{{ end }}
{{ define "__description" }}{{ end }}

{{ define "__text_alert_list" }}{{ range . }}Labels:
{{ range .Labels.SortedPairs }} - {{ .Name }} = {{ .Value }}
{{ end }}Annotations:
{{ range .Annotations.SortedPairs }} - {{ .Name }} = {{ .Value }}
{{ end }}
{{ end }}{{ end }}

{{ define "wechat.default.message" }}{{ template "__subject" . }}
{{ .CommonAnnotations.SortedPairs.Values | join " " }}
{{ if gt (len .Alerts.Firing) 0 -}}
Alerts Firing:
{{ template "__text_alert_list" .Alerts.Firing }}
{{- end }}
{{ if gt (len .Alerts.Resolved) 0 -}}
Alerts Resolved:
{{ template "__text_alert_list" .Alerts.Resolved }}
{{- end }}
{{ end }}

html...

{{ define "pushover.default.title" }}{{ template "__subject" . }}{{ end }}
{{ define "pushover.default.message" }}{{ .CommonAnnotations.SortedPairs.Values | join " " }}
{{ if gt (len .Alerts.Firing) 0 }}
Alerts Firing:
{{ template "__text_alert_list" .Alerts.Firing }}
{{ end }}
{{ if gt (len .Alerts.Resolved) 0 }}
Alerts Resolved:
{{ template "__text_alert_list" .Alerts.Resolved }}
{{ end }}
{{ end }}
{{ define "pushover.default.url" }}{{ template "__alertmanagerURL" . }}{{ end }}

其他通知方式可以删除

配置文件完成后，将alertmanager做成systemctl的一个service

[tanweijie@ceph-204 ~]$ sudo mv alertmanager-0.15.0-rc.1.linux-amd64 /usr/local/alertmanager
[tanweijie@ceph-204 ~]$ cd /usr/local/alertmanager 
[tanweijie@ceph-204 alertmanager]$ vim /lib/systemd/system/alertmanager.service
[Unit]
Description=Alertmanager for Prometheus
After=network-online.target

[Service]
Type=simple
ExecStart=/usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/ceph.yml --storage.path=/usr/local/alertmanager/data/
Restart=on-failur
ExecStop=/bin/kill -9 $MAINPID

[Install]
WantedBy=multi-user.target
[tanweijie@ceph-204 alertmanager]$ sudo systemctl daemon-reload
[tanweijie@ceph-204 alertmanager]$ sudo systemctl start alertmanager.service
[tanweijie@ceph-204 alertmanager]$ sudo systemctl status alertmanager.service
● alertmanager.service - Alertmanager for Prometheus
   Loaded: loaded (/etc/systemd/system/alertmanager.service; disabled; vendor preset: disabled)
   Active: active (running) since Wed 2018-06-13 10:35:08 EDT; 5s ago
 Main PID: 5428 (alertmanager)
   CGroup: /system.slice/alertmanager.service
           └─5428 /usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/ceph.yml --storage.path=/usr/local/alertmanager/data/

这样alertmanager就按照我们的配置启动起来了，已经做好接收告警并发送给微信的准备
接下来要配置prometheus，需要修改的地方有两个，具体配置为：

alerting:
  alertmanagers:
  - static_configs:
    - targets:
       - localhost:9093

rule_files:
   - "/usr/local/prometheus/ceph_rules.yml"

首先是启用告警，alertmanager默认使用的端口是9093，所以target配置的端口也是9093，rule_file是prometheus触发告警的规则文件，在规则文件里面的条件被触发后就会发送告警给alertmanager

groups:
- name: test-rule
  rules:
  - alert: 内存用量告警
    expr: (node_memory_MemAvailable_bytes or (node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes)) / node_memory_MemTotal_bytes < 0.20
    for: 1m
    labels:
      severity: warning
    annotations:
      summary: "{{$labels.instance}}: 节点内存占用过高"
      description: "{{$labels.instance}}: 内存占用超过 80% (当前占用: {{ $value }}"

这是内存占用规则的例子，注意到，expr为规则表达式，它的编写一般是使用prometheus的查询语法规则加上逻辑表达式，查询表达式一般可以直接从grafana的图表那里拷过来，稍作修改即可，for表示的是持续时间内规则条件是否一直满足，例如上述表达式，1分钟内内存一直都是高于0.80，就会触发告警状态变化，这个特性有时候非常有用，例如内存波动比较大的场景，这个时间就可以设置长一些

这样就可以了。重启prometheus即可完成配置读取生效，微信中查看到的效果：
weixinxiaoguo

参考资料：

通过企业微信接收告警
 Prometheus智能化报警流程避免邮件轰炸
 alertmanager.tmpl

本文作者： 奋斗的松鼠
本文链接： http://www.strugglesquirrel.com/2018/06/13/使用alertmanager实现微信报警/
版权声明： 本博客所有文章除特别声明外，创作版权均为作者个人所有，未经允许禁止转载！