prometheus使用 (十六) alertmanager特性--告警抑制_alertmanager告警抑制-程序员宅基地

技术标签: kubernetes  prometheus  alertmanager  

抑制是指当某以此告警发出后,可以停止重复发送由此告警引发的其他告警的机制

比如,我现在有一台服务器宕机了,上面跑了很多中间件都设置了告警,那么我将收到大量无用的告警信息

1. 新增告警规则(检查docker状态)

#这里我们新增一条告警规则,检查docker服务状态的
cat >> /etc/prometheus/rules/node_up.yml <<EOF
- name: docker
  rules:
  - alert: docker
    expr: node_systemd_unit_state{name="docker.service",state="active"} == 0
    for: 10s
    labels:
      severity: 2        #这里设置一个告警级别为2
      team: docker
    annotations:
      summary: "{
   { \$labels.instance }} 已停止运行超过 15s"
      description: hello world
EOF

#重载配置
systemctl restart prometheus

 2. alertmanager添加告警抑制(3台节点)

cat >> /etc/alertmanager/alertmanager.yml <<EOF
inhibit_rules:         #告警抑制
  - source_match:
      severity: '1'      #前一个告警规则的标签
    target_match:
      severity: '2'      #后面触发告警规则的标签
    equal:
    - instance        
EOF

#重载服务
systemctl restart alertmanager

当我们前面已经有一个告警了,假设主机宕机了(我这里模拟为node-exporter已经挂了)
那么后面的告警规则在触发的时候会先翻一下前面的已经触发的告警,去查看是否有severity: '1'的标签
如果有了,那么去对比instance标签,是不是当前这台主机,如果是的话,
那么去查看一下自己准备发的告警里标签是否存在severity: '2',如果存在,就不告警了

3.测试告警

#我们先测试一下docker告警是否正常
systemctl stop docker

 

告警正常,我们尝试把node-exporter服务停止,后docker的告警将会被抑制

systemctl stop node-exporter

 

 

可以看到docker的告警停止了,由node-exporter开始告警,我们再将node-exporter启动

上图中可见,我恢复了node-exporter服务后,发送了info的恢复邮件的同时 docker的评估告警也开始了

以上仅是个人观点,如果有误请指出谢谢╰( ̄ω ̄o)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_42883074/article/details/115544031

智能推荐

123木头人-程序员宅基地

文章浏览阅读178次。[size=small][color=blue]不知道有没有一种职业可以把我学过的计算机知识和其他方面的知识相结合的,不想做女程序员,但是又觉得计算机知识很有意思,希望有前辈可以指点~[/color][/size] :idea: :D :?: ..._123木头人 csdn

设计一个简单的计算器程序,用户输入运算数和四则运算符,输出计算的结果-程序员宅基地

文章浏览阅读1.8w次,点赞12次,收藏33次。#include<stdio.h>int main(){ float x, y; char c; while(scanf("%f %c %f", &x, &c, &y) == 1); { switch (c) { case '+':printf("%f", x + y); break; case '-':printf("%f", x - y); break; case '*':printf("%f", x * y); b_一个简单的计算器程序

CSS3学习笔记-04-详解各种文本修饰_文本修饰css-程序员宅基地

文章浏览阅读8.4k次,点赞2次,收藏3次。一、字体的使用1.1定义字体 @font-face二、字体样式2.1 字重定义 font-weight2.2 字号 font-size2.3 行高设置 line-height2.3 字体风格 font-style2.4 组合写法 font2.5 大小写转换 font-variant or text-transform2.6 文本线条控制 text-decoration:2.7 文本阴影 text-shadow2.8 空白处理 pre or white-space2.9 文本溢出处理_文本修饰css

手机应用(App)推广服务-App收录,App推广,App评测,App下载,App搜索-搜应用网(www.souapp.com)...-程序员宅基地

文章浏览阅读198次。搜应用网(www.souapp.com)介绍:搜应用网,定位于手机App多渠道的深度推广,打造“搜应用手机达人”和“安卓渠道汇”等重量级产品,本站采用先进的积分反应堆App推广模式,让每个上传的App都有机会得到展示和下载,彻底抛弃了传统软件商店排行榜的模式,现在本站在推广成长期,愿意与君携手打造双赢的合作模式:你上传优质免费App,我给你免费深度推广!souap..._搜应用网

Lisp语言:文件操作-程序员宅基地

文章浏览阅读1.8k次,点赞2次,收藏11次。作为一个基本功能,文件操作对于大多数语言来讲都是必须支持的,Lisp语言和大多数语言一样提供了文件操作接口。在Lisp中对文件的操作通过函数open来实现,通过open函数打开一个文件,然后通过read函数读取文件内容,或者通过format函数将数据写入文件中。函数open的第一个参数是目标文件的路径和文件名,然后是一些参数,包括::direction用于指定文件打开后会执行的操作,缺省..._lisp open函数建文件

[笨木头“创业”路]No.5 凶残-程序员宅基地

文章浏览阅读97次。我曾经是一个只懂微笑,几乎没有脾气的人。我对我们的项目充满希望,每天,闹钟响了,我很困,好想继续睡。但是,突然想到,起来了可以写代码,我们的项目就可以更快出来,然后,我就很精神地爬起来了。虽然我喜欢别人赞我聪明,也常常要我的朋友们赞我聪明。但是我知道,我只是一个普通人,我很努力地写代码,因为我只懂写代码。我很努力,全心全意地写代码。可是,一个过度自觉,过度善良的人,...

随便推点

a标签rel标签影响js函数-程序员宅基地

文章浏览阅读519次。&lt;a href="#" title="countryside." rel="lightbox[about]" onclick="showImg(5);return false;"&gt;5&lt;/a&gt;function showImg(img){ alert(img); var i; for(i=0;i&lt;=8;i++){ _js rel

遥感科学与技术基础知识(一)_面辐射源-程序员宅基地

文章浏览阅读6k次,点赞9次,收藏49次。一、遥感科学与技术部分基础知识思维导图_面辐射源

有向加权复杂网络社区发现matlab,有向加权复杂网络关键节点识别及其稳定性的研究.pdf...-程序员宅基地

文章浏览阅读769次。硕士论文 有向加权复杂网络关键节点识别及稳定性研究摘 要近年来,复杂网络已经成为很多领域科学家们研究的热点,在复杂网络的各项基础研究工作中,评估节点的重要程度,发掘关键节点具有重要的理论与应用价值。目前,国内外对复杂网络关键节点识别的方法有很多,但基本上都是针对无向无权网络,然而现实世界中大多数复杂网络既有方向又有权值,因此..._加权图的关键节点

js画图开发库--mxgraph--[fixedicon-固定图标.html] -程序员宅基地

文章浏览阅读334次。 js画图开发库--mxgraph--[fixedicon-固定图标.html] 在元素中放置固定图标&lt;!Doctype html&gt;&lt;html xmlns=http://www.w3.org/1999/xhtml&gt; &lt;head&gt; &lt;meta http-equiv=Content-Type content="text/html;..._js mxgraph 元素全屏 右键菜单被遮挡

js画图开发库--mxgraph--[stylesheet-样式表.html] -程序员宅基地

文章浏览阅读217次。 js画图开发库--mxgraph--[stylesheet-样式表.html] &lt;!Doctype html&gt;&lt;html xmlns=http://www.w3.org/1999/xhtml&gt; &lt;head&gt; &lt;meta http-equiv=Content-Type content="text/html;charset=..._getgeometry().points = [{x: 280, y: 120}];

C/C++语言重要语法之输入输出-程序员宅基地

文章浏览阅读1k次。点击上方蓝字关注我,了解更多咨询C++语言是一种编译式的、通用的、大小写敏感的编程语言,完全支持面向对象开发。基本的输入输出cin和cout在C语言中,标准的键盘输入和屏幕输出功能分别使用scanf()和printf()两个函数实现。在C++语言中,类库中提供了输入流类istream和输出流类ostream。cin和cout分别是istream类和ostream类的对象,..._掌握c++的基本输入/输出语句,熟悉程序的输入/输出方法,“简单应用”