目录
filebeat日志收集工具和logstash相同
filebeat是一款轻量级的日志收集工具,可以在非JAVA环境下运行。
因此,filebeat常被用在非JAVAf的服务器上用于替代Logstash,收集日志信息。
实际上,Filebeat几乎可以起到与Logstash相同的作用,
可以将数据转发到Logstash、Redis或者是Elasticsearch中进行直接处理。
为什么要用filebeat来收集日志?为什么不直接使用lohstash收集日志?
因为logstash是jvm跑的,资源消耗比较大,启动一个logstash就需要消耗500M左右的内存
(这就是为什么logstash启动特别慢的原因)。
而filebeat只需要10M左右的内存资源。
常用的ELK日志采集方案中,大部分的做法就是将所有节点的日志内容通过filebeat发送到logstash,
lostash根据配置文件进行过滤,然后将过滤之后的文件传输到elasticsearch中,最后通过kibana展示。
优点:
filebeat是一个轻量级的日志收集工具,所使用的系统资源比logstash部署和启动时使用的资源要小的多
filebeat可以运行在非java环境。他可以代替logstash在非Java环境上收集日志
filebeat收集的数据可以发往多个主机。远程收集
缺点:
filebeat无法实现数据的过滤,一般是结合logstash的数据过滤功能一块使用
1、通过logstash,具有基于磁盘的自适应缓冲系统,该系统将吸收传入的吞吐量,
从而减轻Elasticsearch持续写入数据的压力。
2、从其它数据源(例如数据库,s3对象存储或消息传递队列)中提取
3、将数据发送到多个目的地,例如S3,HDFS(hadoop分部署文件系统)或写入文件
4、使用数据流逻辑组成更复杂的处理管道。
架构:
ES节点两个:
node1:20.0.0.21
node2:20.0.0.22
日志节点(logstash、kibana、filebeat):20.0.0.23
1.安装 Filebeat
#上传软件包 filebeat-6.7.2-linux-x86_64.tar.gz 到/opt目录
tar zxvf filebeat-6.7.2-linux-x86_64.tar.gz
mv filebeat-6.7.2-linux-x86_64/ /usr/local/filebeat
#时间同步
yum install ntpdate -y
ntpdate ntp.aliyun.com
2.设置 filebeat 的主配置文件
cd /usr/local/filebeat
vim filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /usr/local/nginx/logs/access.log
- /usr/local/nginx/logs/error.log
tags: ["nginx_23"]
fields:
service_name: 20.0.0.23_nginx
log_type: nginx
from: 20.0.0.23
Elasticsearch output模块全部注释掉
因为filebeat只能收集日志,不能过滤日志,所以需要先发给logstash过滤处理日志,再由logstash发送给elasticsearch。这里不直接发送给elasticsearch
Logstash output
配置logsatsh
input {
beats { port => "5044" }
}
output {
if "nginx_23" in [tags] {
elasticsearch {
hosts => ["20.0.0.21:9200","20.0.0.22:9200"]
index =>"%{[fields][service_name]}-%{+YYYY.MM.dd}"
}
}
stdout {
codec => rubydebug
}
}
启动 filebeat:
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
-e:输出到标准输出,禁用syslog/文件输出
-c:指定配置文件
nohup:在系统后台不挂断地运行命令,退出终端不会影响程序的运行
给所要操作的日志访问权限
chmod 777 access.log error.log
启动logstash配置:
logstash -f nginx_23.conf --path.data /opt/test1 &
filebeat 远程收集日志
工作过程:
filebeat和logstash不部署在同一节点上
filebeat先在节点上收集日志,在远程发送给logstash。
在节点上安装filebeat
配置filebeat文件:
Filebeat inputs
Elasticsearch output(全部注释掉)
Logstash output
output.logstash:
# The Logstash hosts
hosts: ["20.0.0.23:5045"] #指定 logstash 的 IP 和端口
配置logstash(去logstash节点)
启动 filebeat(filebeat节点)
cd /usr/local/filebeat
nohup ./filebeat -e -c filebeat.yml > filebeat.out &
去logstash节点启动
logstash -f nhm.conf --path.data /opt/test2 &
logstash可以使用任意端口,只要没被占用都可以使用,推荐1024之后开始
如何对logstash做性能上的优化
logstash启动是在jvm虚拟机上启动的,启动一次至少占500M内存
pipeline.workers: 2
logstash的工作线程,默认值就是cpu数,4核给2, 8核 给4 给一半即可
pipeline.batch.size 125
一次性能够批量处理检索事件的大小默认125。性能好可以给 200
pipline.batch.delay: 50
查询更新的延迟。50毫秒,可以自行调整。生产中15 、10。看机器性能
文章浏览阅读814次。option = { series: [ { type: "gauge", startAngle: 190, endAngle: -10, min: 0, max: 100, axisLine: { lineStyle: { width: 15, color: [ [0.3, "#91BB7E".._echarts 等分
文章浏览阅读225次。https://www.cnblogs.com/monjeo/p/9330464.html_jemeter官网下载
文章浏览阅读711次。前言学院第一至第四期具有求职意向的同学中,目前已经有80%的同学拿到了国内外名企的AI算法岗位offer,或者国外名校的AI 硕士、全奖博士录取 offer。在大家的认可下,我们开始了..._cv和nlp哪个好找工作
文章浏览阅读1.1w次,点赞14次,收藏117次。需求分析对于小型局域网中, 对于接入设备的需求,需要在局域网中部署无线网络,通过无线控制器AC管理网络中所有的无线AP设备,下发无线配置信息。无线网络发布2 4G和5G信号,满足不同设备的连接使用。拓扑图:注意:防火墙使用USG5500 ,路由器使用AR2220 , AC使用AC6005 , AP使用AP2050。拓扑描述:防火墙连接外网地址为192.168.12.9/24,路由..._ensp无线2个信号访问同一个地址
文章浏览阅读1.3k次。       Matlab(Matrix Laboratory)的中文名叫矩阵实验室,是一款著名的科学计算软件,也指这个软件中使用的编程语言.这里仅介绍最基本的 Matlab 功能和语法,且仅介绍本书使用到的功能.界面介绍图 1:Matlab 的 IDE 界面Matlab 的编程界面(图..._matlab产品的中文名称
文章浏览阅读3.9k次。随着信息时代的发展,计算机行业的就业前景相当不错,通过了解,最近有很多小伙伴打算学习python,那么python是什么?它的特点和功能有哪些呢?相关内容如下,赶快来了解吧!python是什么Python是一种跨平台的计算机程序设计语言,是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本,随着版本的不断更新和语言新功能的添加,越多被用于独立的、大型项目的开..._python中程序的功能是什么
文章浏览阅读3.3k次,点赞4次,收藏7次。Valn 11组网需求• 交换机GE_2上的VLAN 5 和VLAN 10 为Primary VLAN,其上层端口GigabitEthernet1/0/1需要允许VLAN 5 和VLAN 10 的报文携带VLAN Tag 通过。• 交换机GE_2 的下行端口GigabitEthernet1/0/2 允许Secondary VLAN 2 通过,GigabitEthernet1/0/3 允许Sec..._新华3模拟器vlan配置
文章浏览阅读4.7w次,点赞8次,收藏15次。我有一个模板,想按常规做一个div里面放置一个img图片,并且让图片铺满容器,自适应容器大小。HTML结构代码如下(在这个盒模型上,我已经放置了一些不重要的样式)。div style="height:270px;width:400px;border:2px black solid;"> a href="http://www.paipk.com">img src="..." alt="拍_img 铺满
文章浏览阅读947次。UnicodeDecodeError: 'gbk' codec can't decode byte 0xfa in position 4669: illegal multibyte sequenceUnicodeDecodeError: 'utf-8' codec can't decode byte 0xb0 in position 5: invalid start bytewith open('进线汇总20201211.csv',encoding='utf8') as f: t = f._ebpf bcc unicodedecodeerror: 'utf-8' codec can't decode byte 0xb0 in positio
文章浏览阅读1.3k次。使用条件序列GAN改进NMT原文《Improving Neural Machine Translation with Conditional Sequence Generative Adversarial Nets》课程作业,因为要导出pdf所以粘贴到CSDN了,34章是笔者翻译的部分。当一篇post吧,求别喷,有问题请留言我一定改,一定改。摘要本文提出了一种将GANs应用于NMT领域的方..._improving neural machine translation with conditional sequence generative ad
文章浏览阅读5k次。目录一、博客产品功能完善1、完善铁粉说明规则2、创作中心专栏数据升级3、发文助手新增「添加模版」指引4、免费开放业界专家自定义域名权益5、其他优化二、问答产品体验优化1、回答链接和链接详情页调整2、PC端提问页优化3、创作中心页面的问答列表优化三、首页热榜及优质内容推进方面的改进四、吐槽提建议直通车,直达CSDN各产品与运营人员查看往期改进hello,大家好,这里是「CSDN产品周报」第33期。本次更新主要涉及博客、问答及首页,欢迎大家详细了解和使_创作者中心铁粉数0
文章浏览阅读1.7k次。自建过许多网盘,试过 可道云、Seafile、FileRun、Nextcloud,但Nextcloud的如下特性吸引了我:完整、好用的客户端,包括 windows、mac、android、ios ...强大的插件扩展,如 Talk, Contacts, notes, Maps ...完整的第三方扩展,支持 Amazie S3, OneDrive, ..._可道云 nextcloud seafile