prometheus使用 (十六) alertmanager特性--告警抑制_默子昂的博客-程序员秘密_alertmanager 抑制

技术标签: kubernetes  prometheus  alertmanager  

抑制是指当某以此告警发出后,可以停止重复发送由此告警引发的其他告警的机制

比如,我现在有一台服务器宕机了,上面跑了很多中间件都设置了告警,那么我将收到大量无用的告警信息

1. 新增告警规则(检查docker状态)

#这里我们新增一条告警规则,检查docker服务状态的
cat >> /etc/prometheus/rules/node_up.yml <<EOF
- name: docker
  rules:
  - alert: docker
    expr: node_systemd_unit_state{name="docker.service",state="active"} == 0
    for: 10s
    labels:
      severity: 2        #这里设置一个告警级别为2
      team: docker
    annotations:
      summary: "{
   { \$labels.instance }} 已停止运行超过 15s"
      description: hello world
EOF

#重载配置
systemctl restart prometheus

 2. alertmanager添加告警抑制(3台节点)

cat >> /etc/alertmanager/alertmanager.yml <<EOF
inhibit_rules:         #告警抑制
  - source_match:
      severity: '1'      #前一个告警规则的标签
    target_match:
      severity: '2'      #后面触发告警规则的标签
    equal:
    - instance        
EOF

#重载服务
systemctl restart alertmanager

当我们前面已经有一个告警了,假设主机宕机了(我这里模拟为node-exporter已经挂了)
那么后面的告警规则在触发的时候会先翻一下前面的已经触发的告警,去查看是否有severity: '1'的标签
如果有了,那么去对比instance标签,是不是当前这台主机,如果是的话,
那么去查看一下自己准备发的告警里标签是否存在severity: '2',如果存在,就不告警了

3.测试告警

#我们先测试一下docker告警是否正常
systemctl stop docker

 

告警正常,我们尝试把node-exporter服务停止,后docker的告警将会被抑制

systemctl stop node-exporter

 

 

可以看到docker的告警停止了,由node-exporter开始告警,我们再将node-exporter启动

上图中可见,我恢复了node-exporter服务后,发送了info的恢复邮件的同时 docker的评估告警也开始了

以上仅是个人观点,如果有误请指出谢谢╰( ̄ω ̄o)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_42883074/article/details/115544031

智能推荐

Android OTG-HID的连接与通讯_吃浮萍的鱼的博客-程序员秘密_android hid通讯

正在开发的项目中多有涉及到Android通过HID与设备终端通讯的需求,所以写下本篇博客做个笔记。如何进行USB接口的HID进行开发?网站上很多文章并不完善,这方便的也介绍的不多,我看了很多资料,借助网上的一些代码,整理了以下信息,希望能给大家提供便捷。1.简述...

自学编程日记(3)_returnadsss的博客-程序员秘密

需求:1、设置桌面壁纸(静态和动态)2、设置系统美化(蜂窝收纳盒样式)3、系统开始菜单,增加透明美化等特效4、软件获取在线免费壁纸5、写一个易更改的接口模块来更改获取图片的途径(因为我打算使用爬虫爬取网上的免费壁纸库,python的爬虫略知一二,C++应该也差不多吧)今天先把换壁纸的代码实现一下,先把基础代码实现一下。我去,百度一下C++实现换壁纸的代码才知道,原来不只有QT可以构建GUI,MFC也可以,看来自己的知识还是少的可怜啊。在网上很快找到了更改壁纸的代码,测试一下可以使用。不过试了几次,发

数学推导+纯Python实现机器学习算法:Lasso回归_文文学霸的博客-程序员秘密

本节我们要介绍的是基于L1正则化的Lasso模型,在正式介绍模型之前,笔者还是想带大家复习一下过拟合和正则化等机器学习关键问题。正则化与L1范数正则化是防止模型过拟合的核心技术之一,关于...

web前端开发技术要求会什么_qq_43675712的博客-程序员秘密

对web前端多少有了解的人,都知道Web前端开发工程师是一项很特殊的工作,现今互联网时代,静态的网页制作已经无法满足企业与用户间复杂的个性化需求了,更多的是转变为网站后台开发、网站架构、SEO网站优化等综合性的工作,这其中需要web前端工程师具备丰富的知识面和开发经验,更好地优化网站,让用户感受到更加棒的交互体验。那么学习web前端开发技术要求会什么呢?一起和苏州学码思小编来看下。精通HTML+...

UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position问题的解决办法_jazz2013的博客-程序员秘密

UnicodeEncodeError: 'ascii' codec can't encode characters in position问题的解决办法

VS2013打开老版本的VC++6.0遇到错误:“CException”: 不能实例化抽象类_wwwlyj123321的博客-程序员秘密

说明:工程在vc6++6.0编译通过,在2013版本中出现“CException”: 不能实例化抽象类 的错误。VS2003之后的版本中,CException的定义与VC++6.0中不同。用一个CException派生类代替CException。CDib中把“throw new CException ”中的CException改为CFileException就可以了。

随便推点

机器学习数据集_rocling的博客-程序员秘密_glass.csv

前言数据集算是比较重要的学习资料了吧,在这里汇总一些好用的数据集以便使用,关于一些内容可以参考一下知乎的提问UCI常用数据集UCI一个不错的数据集下载网站此处介绍几个点击;想比较高的数据集,后面有下载和存储的代码以及有关问题的说明.使用方式点击官方网站,你可以看到以下内容可以看到右边有两个排行榜,最右边的是历史点击率的排行榜,位于该榜左边的也就是网页中间的是最新...

数据库字符编码不统一问题解决方案_无忧草·的博客-程序员秘密

在项目开发过程中,有可能会遇到数据表、列字段字符编码格式不统一的情况,下面给出优雅的解决方式1)table:拼接出指定数据库的不符合特定编码的格式表中表的修改字符集及编码排序规则的脚本:SELECT CONCAT('ALTER TABLE ', table_name, ' CONVERT TO CHARACTER SET utf8 COLLATE utf8_bin;')FROM in...

使用Spring的classutil类体验_不止鱼的博客-程序员秘密

如下/* * Copyright 2002-2006 the original author or authors. * * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License.

KubeSphere 内置的 Prometheus 通过 remote write 至 Thanos 存更长期数据_[shenhonglei]的博客-程序员秘密

背景说明KubeSphere 内置经过优化、资源占比较小的、高可用的,两副本的 Prometheus 。 它可以备份到集群外,通过 remote-write到其他存储,但是由于资源占用太多,不建议发送到 es。

Jest难点进阶_roamingcode的博客-程序员秘密

Jest难点进阶snapshot 快照测试快照的使用const generateConfig= () =&gt; ({ host: 'localhost', port: 3000})test('test config snapshot', () =&gt; { expect(generateConfig()).toMatchSnapshot()})test('test another config snapshot', () =&gt; { expect(generateA

个人阅读习惯的变迁_riusksk的博客-程序员秘密

6月2日,亚马逊中国发布公告:亚马逊将于2023年6月30日在中国停止Kindle电子书店的运营。大学时代:纸质书与彩屏手机刚读大学时,天天泡图书馆看书,基本不午休,但后来书架上想看的都看完了,其它想看的又没有。只好上网找电子书,但又没电脑,只有一把诺基亚3100,据说是诺基亚出品的第一款彩屏手机,当年硬生生地用它看完了《Windows程序设计》与《Windows环境下3...

推荐文章

热门文章

相关标签