FileBeat 简介

什么是 Filebeat ?

Filebeat 是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装,Filebeat 监视您指定的日志文件或位置,收集日志事件,并将它们转发到ElasticsearchLogstash 进行索引。

Filebeat 的工作方式如下:

  • 启动 Filebeat 时,它将启动一个或多个输入,这些输入将在为日志数据指定的位置中查找。
  • 对于Filebeat所找到的每个日志,Filebeat都会启动收集器。
  • 每个收割机都读取一个日志以获取新内容,并将新日志数据发送到libbeat,libbeat会汇总事件并将汇总的数据发送到您为Filebeat配置的输出。

2、Filebeat 的文件夹结构

描述
filebeat 用于启动filebeat的二进制文件
data 持久化数据文件的位置
logs Filebeat创建的日志的位置
modules.d 简化filebeat配置的模板文件夹,如nginx/kafka等日志收集模板
filebeat.yml filebeat配置文件

2.1 filebeat 配置解析

首先进入filebeat文件夹下(ddcvc或dddvc都可以)

su elastic

vim filebeat.yml
2.1.1 输入类型配置解析

从 /var/log/ 文件夹下收集后缀为 .Log 的文件,类型是log,不收集包含 .gz 的文件

2.1.2 输出类型配置解析

  • hosts:要连接到的ElasticSearch节点的列表。事件按循环顺序分发到这些节点。如果一个节点无法访问,则事件将自动返送到另一个节点。每个Elastic节点都可以定义为URL或IP:PORT。若没有指定port,则默认是9200

  • index:索引名称。默认的格式是filebeat-%{[beat.version]}-%{+yyyy.MM.dd}(如filebeat-6.5.4-2020-09-23)。如果修改了这个配置,则必须同时配置setup.template.name和setup.template.pattern

2.1.3 Logstash输出

hosts:指定配置的LogStash服务器和监听的端口。

3.1 filebeat简单示例

自己创建一个简单配置文件(.yml)

vim filebeat_log.yml

Paths 收集自己文件logs下的log文件

Output.console 输出到控制台(便于演示)

赋予其权限

chmod 755 filebeat_log.yml

#启动filebeat命令

./filebeat -e -c filebeat_log.yml -d “publish”

-c 后面跟自定义配置文件 -d 是开启debug模式

作者:Jeebiz  创建时间:2023-06-04 16:40
最后编辑:Jeebiz  更新时间:2024-06-22 23:54