2023年7月17日发(作者：)

ELK7.x⽇志系统搭建3.采⽤轻量级⽇志收集FilebeatELK7.x⽇志系统搭建 3. 采⽤轻量级⽇志收集Filebeat当我们在对系统⽇志进⾏处理的时候，我们需要结合成本考虑⽅案，前期如果使⽤ Logstash 进⾏⽇志收集的话会耗费较多的机器性能，我们这⾥选择优化⼀下⽇志的采集。简单介绍⼀下即将出场的家伙： filebeat⾸先 filebeat 是 Beats 中的⼀员。 Beats 在是⼀个轻量级⽇志采集器，其实 Beats 家族有6个成员，早期的 ELK 架构中使⽤ Logstash 收集、解析⽇志，但是 Logstash 对 内存 、 cpu 、 io 等资源消耗⽐较⾼。相⽐ Logstash ， Beats 所占系统的 CPU 和内存⼏乎可以忽略不计。Beats 有⽬前七个⼯具:1. Functionbeat 能收集、传送并监测来云服务的相关数据2. Packetbeat ⽹络数据（收集⽹络流量数据）3. Metricbeat：指标（收集系统、进程和⽂件系统级别的CPU和内存使⽤情况等数据）4. Filebeat：⽇志⽂件（收集⽂件数据）5. Winlogbeat：windows事件⽇志（收集Windows事件⽇志数据）6. Auditbeat：审计数据（收集审计⽇志）7. Heartbeat：运⾏时间监控（收集系统运⾏时的数据）安装filebeatwget /filebeat/7.6.0/filebeat-7.6.0-linux-x86_ -zxvf filebeat-7.6.0-linux-x86_beat输出到⽂件:# 指定⽂件的输⼊类型log- type: log

enabled: true # 指定要监控的⽇志，可以指定具体得⽂件或者⽬录 paths: - /var/log/# 输出⽅式 可以以⽂件输出: path: "/tmp" filename: ""测试echo test >> /var/log/查看到输出⽂件已经有变化了输出到sh: hosts: ["192.168.179.124:5044"]logstash配置input { beats { port => 5044 }}output { elasticsearch { hosts => ["192.168.179.124:9200"] #elasticsearch服务器地址 user => "elastic" password => "${ES_PWD}" index => "logstash-filebeat-%{+}" #索引名称 }}测试数据echo hello >> /var/log/查看索引模式输出到: hosts: ["192.168.179.124:6379"] key: "test-filebeat" db: 0 timeout: 5查看连接 redis ⽇志查看效果logstash从redis中读取数据 配置 logstashinput { redis { data_type => "list" host => "192.168.179.124" port => "6379"

db => 0 # 指定库 key => "test-filebeat" # 配置redis 键 }}output { elasticsearch { hosts => ["192.168.179.124:9200"] #elasticsearch服务器地址 user => "elastic" password => "${ES_PWD}" index => "logstash-test-%{+}" #索引名称 }}启动 logstash./bin/logstash -f ./conf.d/测试数据echo test >> /var/log/stash 会⼀直从 redis 中获取数据，获取完成会删除掉 redis 的键，我们创建 kibana 的索引模式来查看⼀下收取的数据经过这篇⽂章的理解，我们应该更好的理解 Logstash, 他可以输出地⽅很多，可以直接输出到 队列、ES、⽂件等等，⾮常轻量和灵活