FileBeat 简介
什么是 Filebeat ?
Filebeat 是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装,Filebeat 监视您指定的日志文件或位置,收集日志事件,并将它们转发到
Elasticsearch
或Logstash
进行索引。
Filebeat 的工作方式如下:
- 启动 Filebeat 时,它将启动一个或多个输入,这些输入将在为日志数据指定的位置中查找。
- 对于Filebeat所找到的每个日志,Filebeat都会启动收集器。
- 每个收割机都读取一个日志以获取新内容,并将新日志数据发送到libbeat,libbeat会汇总事件并将汇总的数据发送到您为Filebeat配置的输出。
2、Filebeat 的文件夹结构
描述 | |
---|---|
filebeat | 用于启动filebeat的二进制文件 |
data | 持久化数据文件的位置 |
logs | Filebeat创建的日志的位置 |
modules.d | 简化filebeat配置的模板文件夹,如nginx/kafka等日志收集模板 |
filebeat.yml | filebeat配置文件 |
2.1 filebeat 配置解析
首先进入filebeat文件夹下(ddcvc或dddvc都可以)
su elastic
vim filebeat.yml
2.1.1 输入类型配置解析
从 /var/log/ 文件夹下收集后缀为 .Log 的文件,类型是log,不收集包含 .gz 的文件
2.1.2 输出类型配置解析
hosts:要连接到的ElasticSearch节点的列表。事件按循环顺序分发到这些节点。如果一个节点无法访问,则事件将自动返送到另一个节点。每个Elastic节点都可以定义为URL或IP:PORT。若没有指定port,则默认是9200
index:索引名称。默认的格式是filebeat-%{[beat.version]}-%{+yyyy.MM.dd}(如filebeat-6.5.4-2020-09-23)。如果修改了这个配置,则必须同时配置setup.template.name和setup.template.pattern
2.1.3 Logstash输出
hosts:指定配置的LogStash服务器和监听的端口。
3.1 filebeat简单示例
自己创建一个简单配置文件(.yml)
vim filebeat_log.yml
Paths 收集自己文件logs下的log文件
Output.console 输出到控制台(便于演示)
赋予其权限
chmod 755 filebeat_log.yml
#启动filebeat命令
./filebeat -e -c filebeat_log.yml -d “publish”
-c 后面跟自定义配置文件 -d 是开启debug模式
最后编辑:Jeebiz 更新时间:2024-06-22 23:54